[論文レビュー] Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging -- Mini Review, Comparison and Perspectives

Guang Yang, Jun Lv+3 more|arXiv (Cornell University)|May 4, 2021

Advanced MRI Techniques and Applications参考文献 87被引用数 5

ひとこと要約

本論文は、高速磁気共鳴画像法（MRI）におけるGANベースの手法をレビューおよび比較し、中程度の加速係数において、従来の圧縮センシングおよびディープラーニング手法に比べてGANが再構成品質と知覚的忠実度を顕著に向上させることを示している。一方、DAGAN や KIGAN などの一部のアーキテクチャは、高いアンダーサンプリング比において制限を示す。RefineGAN は、向上した正確性と知覚的品質のおかげでトップパフォーマンスを発揮し、今後の研究ではMR物理学との統合と説明可能なAI（XAI）を統合して臨床応用を目指す。

ABSTRACT

Magnetic Resonance Imaging (MRI) is a vital component of medical imaging. When compared to other image modalities, it has advantages such as the absence of radiation, superior soft tissue contrast, and complementary multiple sequence information. However, one drawback of MRI is its comparatively slow scanning and reconstruction compared to other image modalities, limiting its usage in some clinical applications when imaging time is critical. Traditional compressive sensing based MRI (CS-MRI) reconstruction can speed up MRI acquisition, but suffers from a long iterative process and noise-induced artefacts. Recently, Deep Neural Networks (DNNs) have been used in sparse MRI reconstruction models to recreate relatively high-quality images from heavily undersampled k-space data, allowing for much faster MRI scanning. However, there are still some hurdles to tackle. For example, directly training DNNs based on L1/L2 distance to the target fully sampled images could result in blurry reconstruction because L1/L2 loss can only enforce overall image or patch similarity and does not take into account local information such as anatomical sharpness. It is also hard to preserve fine image details while maintaining a natural appearance. More recently, Generative Adversarial Networks (GAN) based methods are proposed to solve fast MRI with enhanced image perceptual quality. The encoder obtains a latent space for the undersampling image, and the image is reconstructed by the decoder using the GAN loss. In this chapter, we review the GAN powered fast MRI methods with a comparative study on various anatomical datasets to demonstrate the generalisability and robustness of this kind of fast MRI while providing future perspectives.

研究の動機と目的

• GANベースのディープラーニングモデルが、画像品質と解剖学的詳細を保持しながらMRI再構成を高速化する性能を評価および比較すること。
• 臨床的MRIで一般的に見られる多様な解剖的構造およびアンダーサンプリングパターンにおいて、GANベースの手法の頑健性と一般化能力を調査すること。
• 特に高加速係数やトレーニングデータに存在しない病理的構造において、再構成の不安定性や幻覚（hallucination）を示すGANモデルの限界を同定すること。
• GANベースの手法が、トレーニングデータにない病変や異なる画像プロトコルを含むゼロショット推論シナリオに一般化できるかどうかを評価すること。
• 今後の研究方向性を提案すること、具体的にはMR物理学との統合、説明可能なAI（XAI）の導入、および臨床的信頼性を高めるための改善されたトレーニング戦略の開発。

提案手法

• 生成対抗ネットワーク（GANs）を用い、生成器ネットワークが重度にアンダーサンプリングされたk-spaceデータから高品質なMR画像を再構成し、識別器ネットワークが本物の画像と生成画像を区別することで知覚的品質を向上させる。
• エンコーダ・デコーダアーキテクチャに敵対的損失を適用し、標準的なオートエンコーダーでよく見られるL1/L2損失によるぼやけを克服し、局所的な画像ディテールとテクスチャを強化する。
• 変動密度、ポアソン分布、ランダムなどの複数のサンプリングパターンを、脳、腹部などの異なる解剖的データセットに適用し、臨床的なアンダーサンプリング状況を模擬する。
• DAGAN、KIGAN、RefineGAN、GANCS の4つのGANベースのアーキテクチャを、定量的指標（PSNR、SSIM、LPIPS）と定性的な視覚的評価を用いて比較する。
• 知覚的損失や敵対的トレーニングなどの高度なトレーニング技術を導入し、構造的忠実度を向上させ、アーチファクトを低減する。
• ゼロショット推論テストを通じてモデルの一般化能力を評価し、ある臓器や病変でトレーニングされたモデルを、異なる臓器や未学習の病変を含む未観測データに適用する。

実験結果

リサーチクエスチョン

• RQ1 異なるGANベースのアーキテクチャは、多様な解剖的領域およびアンダーサンプリングパターンにおいて、高速MRI再構成でどのように比較されるか？
• RQ2 高加速係数（例：8倍以上）において、GANベースの手法は画像品質と解剖学的正確性をどの程度維持できるか？
• RQ3 GANベースのモデルは、トレーニングデータに存在しない病変を含むゼロショット推論シナリオに一般化できるか？
• RQ4 GANベースのMRI再構成における主な限界、例えば摂動に対する不安定性や微細構造の幻覚化は何か？
• RQ5 MR物理学との統合と説明可能なAI（XAI）を統合することで、GANベースの高速MRIモデルの臨床的信頼性と透明性はどのように向上するか？

主な発見

• すべてのGANベースの手法は、低～中程度の加速係数において優れた結果を達成し、従来の圧縮センシングおよび非GANディープラーニングベースラインに比べて、知覚的品質と構造的ディテールで顕著に優れていた。
• RefineGAN は、DAGAN や KIGAN、GANCS に比べ、微細な解剖学的構造やテクスチャの保持において優れた再構成正確性と知覚的効率を示した。
• 高加速係数（例：8倍を超える）においては、DAGAN や KIGAN が性能を低下させ、極端なアンダーサンプリング下での一般化能力と頑健性の限界が示された。
• ゼロショット推論テストでは、DAGAN や GANCS などのGANベースのモデルが、トレーニングデータにない病変（例：脳腫瘍、拡大した副腎）を正常に再構成でき、強力な一般化可能性を示した。
• 安定性テストでは、GANベースのモデル、特にDAGAN が、小さな入力摂動（例：追加された文字）に対して敏感であり、大きな再構成誤差を示した。これは、現実のノイズやアーチファクト下での不安定性を示唆している。
• 不安定性の懸念にもかかわらず、GANベースのモデルは、臨床的ゼロショットシナリオにおいて、病理的構造を幻覚化する兆候を示さなかった。これは、過去の不安定性に関する報告とは対照的であり、文脈依存の頑健性を示唆している。