[論文レビュー] High-resolution medical image synthesis using progressively grown generative adversarial networks

Andrew Beers, James M. Brown+5 more|arXiv (Cornell University)|May 8, 2018

Cell Image Analysis Techniques被引用数 49

ひとこと要約

本論文は progressively grown GANs (PGGANs) を用いて網膜眼底と多モーダル glioma MRI における高解像度医用画像を生成することを適用しており、セグメンテーションチャネルが病理の細部を改善し、潜在空間が臨床的に関連する情報を符号化することを示している。

ABSTRACT

Generative adversarial networks (GANs) are a class of unsupervised machine learning algorithms that can produce realistic images from randomly-sampled vectors in a multi-dimensional space. Until recently, it was not possible to generate realistic high-resolution images using GANs, which has limited their applicability to medical images that contain biomarkers only detectable at native resolution. Progressive growing of GANs is an approach wherein an image generator is trained to initially synthesize low resolution synthetic images (8x8 pixels), which are then fed to a discriminator that distinguishes these synthetic images from real downsampled images. Additional convolutional layers are then iteratively introduced to produce images at twice the previous resolution until the desired resolution is reached. In this work, we demonstrate that this approach can produce realistic medical images in two different domains; fundus photographs exhibiting vascular pathology associated with retinopathy of prematurity (ROP), and multi-modal magnetic resonance images of glioma. We also show that fine-grained details associated with pathology, such as retinal vessels or tumor heterogeneity, can be preserved and enhanced by including segmentation maps as additional channels. We envisage several applications of the approach, including image augmentation and unsupervised classification of pathology.

研究の動機と目的

• PGGANs が臨床的に関連する領域で最大 512x512 の高解像度医用画像を生成できることを実証する。
• セグメンテーションマップを追加チャネルとして含めることで、診断上関連する細部が保持されることを示す。
• 合成医用画像の現実味と多様性を評価し、それらが拡張および教師なし学習の潜在能力に寄与する可能性を検討する。
• PGGANs の潜在空間を探索し、臨床的に意味のある特徴が符号化されているかを判断する。

提案手法

• GANs の progressively growing を用いて、生成器と識別器を段階的に 4x4 から 512x512（MRI は 256x256）まで解像度を増加させてトレーニングする。
• Wasserstein ロスと生成器・識別器の更新を同数で行う。
• 診断に関連する構造の生成を導く追加チャネルとしてセグメンテーションマップを含める。
• 実画像を別のネットワークで潜在空間に符号化し、潜在表現を研究し潜在空間での最近傍探索を実施する。
• 合成眼底画像を用いて画像品質を定性的に評価し、分割アルゴリズムで評価（血管分割の参照で AUC が 0.97 と報告された） 。
• データはドメイン固有の前処理手順（網膜血管のセグメンテーション、BraTS MRI モダリティ T1, T1, T2, FLAIR）で前処理する。

実験結果

リサーチクエスチョン

• RQ1 progressively grown GANs を用いて眼底と膠腫 MRI データにおいて高解像度の医用画像を説得的に合成できるか？
• RQ2 追加チャネルとしてセグメンテーションマップを組み込むと、診断上関連する構造の保持が改善されるか？
• RQ3 PGGANs の潜在空間は臨床的に意味のある特徴をエンコードしており、教師なし特徴学習と最近傍検索を可能にするか？
• RQ4 モーダリティと病理にわたる合成画像の多様性と現実味はどの程度か？
• RQ5 合成データは複数機関の生物医学画像における画像拡張やモダリティ間の合成に寄与できるか？

主な発見

• PGGANs は高解像度で高品質かつ多様な合成眼底および多モーダル MRI 画像を生成した。
• セグメンテーションチャネルの拡張は病理の可視化を改善し、診断上関連する細部を保持した。
• 合成の血管マップは分割アルゴリズムによって実際の血管構造と高い整合を達成できた（ tested setup で AUC ~0.97）。
• 潜在空間の符号化は、右眼 vs 左眼や脳スライスの軸方向の進行といった解釈可能な構造を示した。
• 実画像を潜在空間にエンコードすることで近似最近傍検索が可能となり、教師なし特徴学習とデータ拡張の可能性を示唆した。