[論文レビュー] CNNs and GANs in MRI-based cross-modality medical image estimation

Azin Shokraei Fard, David C. Reutens+1 more|arXiv (Cornell University)|Jun 4, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 62被引用数 4

ひとこと要約

この論文は、MRIデータを用いたクロスモダリティ医療画像推定における畳み込みニューラルネットワーク（CNNs）および生成対抗ネットワーク（GANs）の応用をレビューしている。特に、MRIスキャンからPETやCT画像を生成することに焦点を当てている。GANsは、定量的指標による検証を通じて、画像品質と現実性においてCNNsを上回っており、臨床的に関連性のある合成画像を生成するうえで優れた有用性を示している。

ABSTRACT

Cross-modality image estimation involves the generation of images of one medical imaging modality from that of another modality. Convolutional neural networks (CNNs) have been shown to be useful in identifying, characterising and extracting image patterns. Generative adversarial networks (GANs) use CNNs as generators and estimated images are discriminated as true or false based on an additional network. CNNs and GANs within the image estimation framework may be considered more generally as deep learning approaches, since imaging data tends to be large, leading to a larger number of network weights. Almost all research in the CNN/GAN image estimation literature has involved the use of MRI data with the other modality primarily being PET or CT. This review provides an overview of the use of CNNs and GANs for MRI-based cross-modality medical image estimation. We outline the neural networks implemented, and detail network constructs employed for CNN and GAN image-to-image estimators. Motivations behind cross-modality image estimation are provided as well. GANs appear to provide better utility in cross-modality image estimation in comparison with CNNs, a finding drawn based on our analysis involving metrics comparing estimated and actual images. Our final remarks highlight key challenges faced by the cross-modality medical image estimation field, and suggestions for future research are outlined.

研究の動機と目的

• MRIベースのクロスモダリティ医療画像推定におけるCNNとGANの使用をレビューおよび分析すること。
• MRIからPETまたはCTへの変換を含め、異なるモダリティ間の画像生成においてCNNとGANの性能を比較すること。
• CNNおよびGANベースの画像間変換フレームワークで用いられる主なネットワークアーキテクチャと設計選択を特定すること。
• 臨床的および研究的文脈におけるクロスモダリティ画像推定の背後にある動機を強調すること。
• 深層学習に基づく医療画像合成分野における今後の研究の方向性を提示し、課題を明らかにすること。

提案手法

• 本研究は、MRIベースのクロスモダリティ画像推定に特化した既存の文献を系統的レビューする手法を採用している。
• CNNは、入力MRIからターゲットモダリティの画像へのマッピングを学習するための特徴抽出器および生成器として用いられる。
• GANは、生成器（通常はCNNベースのU-Netまたは類似アーキテクチャ）と識別器ネットワークを統合し、本物の画像と生成画像を区別する。
• 生成器は、本物の画像と区別がつかない画像を生成するように敵対的に訓練され、視覚的品質が向上する。
• 画像品質は、SSIM、PSNR、LPIPSなどの標準指標を用いて、推定画像と実際の画像を比較して評価される。
• ネットワークアーキテクチャは、スキップ接続、正規化層、敵対的損失およびサイクル整合性損失などの損失関数を含めた設計を分析する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのモデルは、MRIデータからクロスモダリティ医療画像を生成する際にどの程度の性能を示すか？
• RQ2 GANベースのモデルは、MRIからPETまたはMRIからCTへの画像推定において、どの程度画像品質と現実性が向上するか？
• RQ3 このタスクにおいて、CNNおよびGANフレームワークで最も効果的なアーキテクチャ的要素とトレーニング戦略は何か？
• RQ4 定量的および視覚的品質の観点から、CNNとGANの間で顕著な性能差は何か？
• RQ5 現在のMRIベースのクロスモダリティ画像推定アプローチにおける主な課題と制限は何であるか？

主な発見

• GANは、複数の評価指標において一貫して標準的なCNNよりも高精細で現実的な画像を生成する。
• GANにおける敵対的訓練の導入により、視覚的品質が向上し、より繊細な構造的詳細が再現される。
• SSIMやPSNRなどの定量的指標では、GANで生成された画像の値がCNNベースの対比的生成画像よりも高い。
• GANフレームワークに知覚的損失およびサイクル整合性損失を組み込むことで、画像の現実性と構造的正確性がさらに向上する。
• 改善が見られる一方で、一般化性、ドメインシフト、生成画像の臨床的妥当性の確認という課題は依然として残っている。
• 本レビューでは、標準化された評価プロトコルの欠如と、研究における臨床的応用の限界が明らかになった。