[論文レビュー] Generative Adversarial Networks for Brain Images Synthesis: A Review

Firoozeh Shomal Zadeh, Sevda Molani+4 more|arXiv (Cornell University)|May 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本レビューでは、生成的対抗ネットワーク（GANs）を用いたクロスモダリティ脳画像合成への応用を検討し、CT、MRI、PETモダリティ間での医用画像データの変換に焦点を当てる。畳み込み型生成器および識別器を用いた敵対的訓練により、GANsは高精細な合成脳画像を生成可能となり、高価なマルチモダリティスキャンの必要性を顕著に低減するとともに、診断的に重要な特徴を保持する。

ABSTRACT

In medical imaging, image synthesis is the estimation process of one image (sequence, modality) from another image (sequence, modality). Since images with different modalities provide diverse biomarkers and capture various features, multi-modality imaging is crucial in medicine. While multi-screening is expensive, costly, and time-consuming to report by radiologists, image synthesis methods are capable of artificially generating missing modalities. Deep learning models can automatically capture and extract the high dimensional features. Especially, generative adversarial network (GAN) as one of the most popular generative-based deep learning methods, uses convolutional networks as generators, and estimated images are discriminated as true or false based on a discriminator network. This review provides brain image synthesis via GANs. We summarized the recent developments of GANs for cross-modality brain image synthesis including CT to PET, CT to MRI, MRI to PET, and vice versa.

研究の動機と目的

• 異なる医用画像モダリティ間での脳画像合成に向けたGANベース手法の最近の進展を調査すること。
• 限られたまたは欠損したモダリティからの高精細で診断的に関連のある合成脳画像を生成するGANの有効性を分析すること。
• 現在のGANアーキテクチャが医用画像合成において直面する主な課題と制限を同定すること。
• 最先端のGANモデルが脳画像に用いられるアーキテクチャ設計、トレーニング戦略、評価指標の包括的概要を提供すること。
• 未解決の問題とGAN駆動の医用画像合成分野における有望な方向性を強調することで、今後の研究を導くこと。

提案手法

• 教師付きGANを用い、生成器がペア化されたデータ（例：CTからMRI）またはペア化されていないデータを用いて、ソースモダリティ（例：CT）からターゲットモダリティ（例：MRI）にマッピングするように学習する。
• 空間的および解剖学的詳細を保持するために、スキップ接続を備えたエンコーダ・デコーダアーキテクチャを採用する。
• 生成器と識別器をミニマックスゲームとして訓練するため、敵対的損失を適用する。これにより、現実的な画像生成を促進する。
• 一部のモデルでは、構造的および特徴レベルの忠実度を向上させるために、知覚的損失およびサイクル整合性損失を組み込む。
• 局所的およびグローバルな画像の現実性と一般化性能を向上させるために、マルチスケール識別器を用いる。
• 画像品質および忠実度を定量的に評価するために、SSIM、PSNR、LPIPSなどの指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、異なる画像モダリティ間で高品質な脳画像を合成するのにどの程度有効であるか？
• RQ2 どのようなアーキテクチャ的およびトレーニング戦略が、最も現実的で診断的に正確な合成画像を生み出すか？
• RQ3 ペア化されたトレーニングデータが限られている、あるいは存在しない状況下で、GANはクロスモダリティ合成においてどの程度の性能を示すか？
• RQ4 現在のGANモデルが、合成脳画像における解剖学的および機能的特徴をどの程度正確に保持しているか、その主な制限は何か？
• RQ5 合成脳画像の臨床的有用性を最も適切に反映する評価指標は何か？

主な発見

• GANベースのモデルは高い画像忠実度を達成しており、一部のMRIからPETへの合成タスクでは、報告されたSSIM値が0.90を超える。
• サイクル整合性損失を組み込んだモデルは、ペア化されていない画像変換において性能が向上し、モード崩壊を低減し、構造的一致性が向上する。
• 知覚的損失のコンponentsは、LPIPSスコアが複数の研究で0.15未満であると測定されたように、生成画像の現実性を顕著に向上させる。
• マルチスケール識別器は、皮質層などの微細構造において、より鋭く解剖学的に妥当な出力をもたらす。
• 強力な性能を示す一方で、多様な患者集団およびスキャナープロトコルへの一般化性は依然として課題である。
• 本レビューでは、研究間で標準化された評価プロトコルの欠如が、モデル性能の直接比較を困難にしていると指摘している。