[論文レビュー] Data Augmentation For Medical MR Image Using Generative Adversarial Networks

Panjian Huang, Xu Liu+1 more|arXiv (Cornell University)|Nov 29, 2021

Advanced Image Processing Techniques参考文献 27被引用数 8

ひとこと要約

本稿では、データ拡張のための高品質で多様性に富んだ256×256脳腫瘍MRI画像を生成するために、構造的類似性損失関数を組み込んだ生成的敵対ネットワーク、PGGAN-SSIMを提案する。訓練の安定性を向上させ、モード崩壊を軽減することで、FID（33.266）およびMS-SSIM（0.6617）の両面で最先端の性能を達成し、ベースラインのGANや実際のデータを上回るサンプルの多様性を実現した。

ABSTRACT

Computer-assisted diagnosis (CAD) based on deep learning has become a crucial diagnostic technology in the medical industry, effectively improving diagnosis accuracy. However, the scarcity of brain tumor Magnetic Resonance (MR) image datasets causes the low performance of deep learning algorithms. The distribution of transformed images generated by traditional data augmentation (DA) intrinsically resembles the original ones, resulting in a limited performance in terms of generalization ability. This work improves Progressive Growing of GANs with a structural similarity loss function (PGGAN-SSIM) to solve image blurriness problems and model collapse. We also explore other GAN-based data augmentation to demonstrate the effectiveness of the proposed model. Our results show that PGGAN-SSIM successfully generates 256x256 realistic brain tumor MR images which fill the real image distribution uncovered by the original dataset. Furthermore, PGGAN-SSIM exceeds other GAN-based methods, achieving promising performance improvement in Frechet Inception Distance (FID) and Multi-scale Structural Similarity (MS-SSIM).

研究の動機と目的

• 深層学習を用いた医療診断において、限られた数の脳腫瘍MRIデータセットとその低多様性という課題に対処すること。
• GANベースのデータ拡張を用いて、合成された256×256脳腫瘍MRI画像の品質と多様性を向上させること。
• 小規模な医療データセットで訓練されたGANにおけるモード崩壊と画像のぼやけ具合を軽減すること。
• 構造的類似性（SSIM）損失が、生成されたMRIサンプルの現実性と多様性を向上させる効果を評価すること。

提案手法

• BRATS 2019データセットの256×256 FLAIR脳MRIスライスを対象として、プログレッシブグローミングGANs（PGGAN）を適応して訓練した。
• 生成器損失に構造的類似性（SSIM）損失関数を導入し、知覚的品質の向上とぼやけ具合の低減を図った。
• 勾配ペナルティをGANの訓練プロセスに組み込み、訓練の安定性を高め、モード崩壊を防止した。
• 多様性と再構築忠実度のバランスを最適化するため、潜在ベクトルサイズを512とした。
• 8×3090 GPUを用いて12,000イテレーション、バッチサイズ32、Adam最適化法（初期学習率=0.001）でモデルを訓練した。
• 10,000対および2,000対のサンプルペアを用いて、FIDおよびMS-SSIM指標で性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 PGGANにSSIM損失を適用することで、ベースラインのGANよりもより現実的で多様性に富んだ256×256脳腫瘍MRI画像を生成できるか？
• RQ2 SSIM損失の追加が、GANベースの医療画像生成におけるモード崩壊と画像のぼやけ具合にどのように影響するか？
• RQ3 PGGAN-SSIMを用いて高精細な脳腫瘍MRIを生成する際の最適な潜在ベクトルサイズ（z）は何か？
• RQ4 MS-SSIMにおいて、PGGAN-SSIMが実データを上回るか？これは、より優れたサンプルの多様性を示唆するか？
• RQ5 PGGAN-SSIMを用いたGANベースのデータ拡張が、下流の医療画像検出性能を向上させられるか？

主な発見

• PGGAN-SSIMは、すべてのモデルの中で最小のFrechet Inception Distance（FID）スコア33.266を達成し、生成画像の現実性が非常に高いことを示した。
• PGGAN-SSIMのMS-SSIMスコア（0.6617）は、実データ（0.6627）をわずかに上回り、サンプルの多様性が優れていることを示した。
• 512次元の潜在ベクトル（z512）を用いたPGGANモデルが、FID（32.272）で最良の性能を示し、より大きなベクトル（z1024）を上回った。
• α-GAN-GPは、ぼやけ具合が強く、多様性に欠け、FID（127.15）が高く、MS-SSIM（0.7206）が低く、性能が限定的であった。
• SSIM損失の追加により、MS-SSIMが向上し、モード崩壊が軽減されたが、FIDはわずかに上昇した。この結果、データ拡張におけるSSIM損失の有効性が裏付けられた。
• PGGAN-SSIMは、分布的ギャップを埋める現実的で高解像度の脳腫瘍MRI画像を成功裏に生成した。