[論文レビュー] GANs for Medical Image Synthesis: An Empirical Study

Youssef Skandarani, Pierre‐Marc Jodoin+1 more|arXiv (Cornell University)|May 11, 2021

Generative Adversarial Networks and Image Synthesis被引用数 28

ひとこと要約

この論文は、3つの医療画像モダリティ（心臓 cine-MRI、肝臓CT、網膜画像）にわたる複数のGANアーキテクチャを評価し、FIDと下流のセグメンテーション（Dice）を用いて合成データの有用性を検証する。StyleGANとSPADEは画像忠実度で優れ、データセット全体の豊富さを完全には再現できないことを示す。FIDのみではセグメンテーション性能を信頼性高く予測できない。

ABSTRACT

Generative Adversarial Networks (GANs) have become increasingly powerful, generating mind-blowing photorealistic images that mimic the content of datasets they were trained to replicate. One recurrent theme in medical imaging is whether GANs can also be effective at generating workable medical data as they are for generating realistic RGB images. In this paper, we perform a multi-GAN and multi-application study to gauge the benefits of GANs in medical imaging. We tested various GAN architectures from basic DCGAN to more sophisticated style-based GANs on three medical imaging modalities and organs namely : cardiac cine-MRI, liver CT and RGB retina images. GANs were trained on well-known and widely utilized datasets from which their FID score were computed to measure the visual acuity of their generated images. We further tested their usefulness by measuring the segmentation accuracy of a U-Net trained on these generated images. Results reveal that GANs are far from being equal as some are ill-suited for medical imaging applications while others are much better off. The top-performing GANs are capable of generating realistic-looking medical images by FID standards that can fool trained experts in a visual Turing test and comply to some metrics. However, segmentation results suggests that no GAN is capable of reproducing the full richness of a medical datasets.

研究の動機と目的

• さまざまなGANアーキテクチャが異なる臓器とモダリティにわたって現実的な医療画像をどれだけうまく合成できるかを評価する。
• 合成医療画像がセグメンテーションなどの下流タスクのトレーニングを効果的に augment できるかを判断する。
• 標準的なGANの忠実度指標（FID）と下流タスクの性能との関係を調査する。
• データサイズ、計算資源、安定性といった医療画像GANの実用性に影響を与える要因を特定する。

提案手法

• 人気とハードウェア適合性に基づき、DCGAN、LSGAN、WGAN、HingeGAN、SPADE、StyleGANなどのGANアーキテクチャを選定する。
• 3つのデータセット（ACDC心臓 cine-MRI、SLIVER07肝臓CT、IDRiD網膜画像）で広範なハイパーパラメータ探索（約500 GPU日）を行い、GANを訓練する。
• 画像忠実度をFrechet Inception Distance（FID）で評価し、合成データで訓練したU-Netセグメンテーションモデルの実デステストセットでのDiceスコアを測定して下流の有用性を評価する。
• GANが学ぶ結合分布のために画像とマスクのチャネルを結合して扱う（例外的にSPADEはセグメンテーションマスクを条件とする）。
• 実データを augment した場合、合成データのみ、両者の組み合わせのいずれが実用的な有用性を持つかを比較する。
• GANを安定化させる訓練手法（ラベルスムージング、特徴量マッチング、微分可能な拡張など）を検討する。

実験結果

リサーチクエスチョン

• RQ1 最先端および古典的なGANは、MRI、CT、網膜データセット全体で医学的に妥当で多様な画像を生成できるか。
• RQ2 GAN生成画像は実データで訓練された下流のセグメンテーションネットワークを意味的に augment できるか。
• RQ3 医療画像においてFIDスコアはタスク固有のDiceスコアとどのように関係するか、またよりドメイン適合の指標はあるか。
• RQ4 データセットのサイズ、3D性の考慮、計算資源といった実務的要因が、医療画像におけるGANベースの合成データの有効性にどのように影響するか。

主な発見

• StyleGANとSPADEはデータセット全体で最良の画像忠実度と高いDiceスコアを達成し、StyleGANはACDCで87%のDice、SPADEはデータセットに応じて0.82–0.86のDiceを達成した。
• シンプルなGAN（DCGAN、LSGAN、WGAN、HingeGAN）は性能が低いか変動が大きく、しばしば退化的な画像や不安定なセグメンテーション性能をもたらす。
• GAN生成データは実データのセグメンテーション性能にほとんど近づかず、GANデータの augmentation は伝統的な拡張と同等か、それを上回ることは少ない。
• FIDは人間が判断する視覚品質と相関するが、下流のセグメンテーション性能を信頼性高く予測しない。例として、IDRiDのSPADEはFID1.09でDice 0.82と高いが、全体としては訓練データを memorized するモデルがある。
• より多くのデータ（SLIVER07のような大規模データセット）は、非常に小規模なデータセット（IDRiD）よりも一般にFIDと下流性能の向上をもたらす。
• 高品質な医療生成は現代的で計算集約的なアーキテクチャを必要とし、多くのGANがデータが本質的に2Dである場合には依然として限界がある。