[論文レビュー] mustGAN: Multi-Stream Generative Adversarial Networks for MR Image Synthesis

Mahmut Yurt, Salman Ul Hassan Dar+3 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Image Processing Techniques被引用数 10

ひとこと要約

本稿では、T1-, T2-, PD-, および FLAIR強調脳MRIシーケンスの合成において、強化されたシャープネスと低ノイズ性を実現するため、対応特徴と共有特徴を効果的に統合する、マルチストリーム生成的敵対ネットワークmustGANを提案する。この手法は、1対1ストリームによる対応特徴抽出と、1対多ストリームによる共有特徴抽出を組み合わせ、適応的かつ最適化された統合により、合成品質を向上させる。

ABSTRACT

Multi-contrast MRI protocols increase the level of morphological information available for diagnosis. Yet, the number and quality of contrasts is limited in practice by various factors including scan time and patient motion. Synthesis of missing or corrupted contrasts can alleviate this limitation to improve clinical utility. Common approaches for multi-contrast MRI involve either one-to-one and many-to-one synthesis methods. One-to-one methods take as input a single source contrast, and they learn a latent representation sensitive to unique features of the source. Meanwhile, many-to-one methods receive multiple distinct sources, and they learn a shared latent representation more sensitive to common features across sources. For enhanced image synthesis, here we propose a multi-stream approach that aggregates information across multiple source images via a mixture of multiple one-to-one streams and a joint many-to-one stream. The shared feature maps generated in the many-to-one stream and the complementary feature maps generated in the one-to-one streams are combined with a fusion block. The location of the fusion block is adaptively modified to maximize task-specific performance. Qualitative and quantitative assessments on T1-, T2-, PD-weighted and FLAIR images clearly demonstrate the superior performance of the proposed method compared to previous state-of-the-art one-to-one and many-to-one methods.

研究の動機と目的

• スキャン時間と被検者の動きによる制限から生じる多対照 MRI の臨床的限界を解消するため、欠損または損傷した対応を合成することを目的とする。
• 従来の1対1および1対多の合成手法の欠点を克服し、統合的なフレームワーク内で両者の長所を統合することを目的とする。
• 個々の対応からの補完的特徴と、対応間で共有される表現を統合することで、画像品質を向上させることを目的とする。
• ネットワーク内でのタスク最適化された位置で特徴マップの適応的統合を可能にし、多様な合成タスクにおける性能を向上させることを目的とする。

提案手法

• mustGAN は、各ストリームが1つの入力対応を処理し、独自の対応特徴を抽出する複数の1対1ストリームを採用する。
• 別個の1対多ストリームが、すべての入力対応を同時に処理し、対応間で共通する特徴を学習する。
• 1対1ストリームと1対多ストリームからの特徴マップは、トレーニング中に適応的に最適化される位置にある学習可能な統合ブロックを介して統合される。
• 生成的敵対ネットワークフレームワークを採用し、敵対的損失、知覚的損失、ピクセル単位の損失を用いることで、高周波数の詳細を保持し、現実性を向上させる。
• 統合ブロックは、従来の固定位置とは異なり、デコーダー内での動的かつ最適化された位置に配置され、タスク固有の性能を最大化する。
• モデルは、事前登録処理を前処理として施したペアド多対照 MRI データで学習される。

実験結果

リサーチクエスチョン

• RQ1 1対1ストリームと1対多ストリームの組み合わせは、単独のアプローチを上回る多対照 MRI 合成性能を実現できるか？
• RQ2 学習されたネットワーク内位置での特徴の適応的統合は、固定位置統合よりも優れた合成性能をもたらすか？
• RQ3 対応特徴と共有表現の統合により、合成された MR 画像のノイズ低減とシャープネス向上が達成できるか？
• RQ4 mustGAN は、pGAN や Multimodal といった最先端手法と比較して、定量的および定性的な画像品質において優れているか？

主な発見

• mustGAN は、T1-, T2-, PD-, および FLAIR強調脳MRIシーケンスの合成において、1対1および1対多の最先端手法を上回る性能を発揮する。
• PSNR 値が高く、視覚的品質が優れており、pGAN や Multimodal と比較してノイズが低減され、エッジのシャープネスが向上している。
• 1対1ストリームと1対多ストリームの特徴マップの適応的統合により、特に微細な解剖学的詳細の保持において優れた性能が得られている。
• 専用の1対1ストリームの導入により、個々の対応固有の特徴への感受性が向上し、全体の合成忠実度が向上している。
• 正常例および膠腫患者のスキャンを含む多様なデータセットにおいて、強固な性能を示している。
• 敵対的損失と知覚的損失の使用により、平均絶対誤差ベースの手法に比べ、高空間周波数成分の捉えが優れている。