[論文レビュー] DiamondGAN: Unified Multi-Modal Generative Adversarial Networks for MRI Sequences Synthesis

Hongwei Li, Johannes C. Paetzold+6 more|arXiv (Cornell University)|Apr 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 4

ひとこと要約

DiamondGANは、非整合な入力シーケンス（T1、T2、FLAIR）の任意のサブセットから、目的のシーケンス（DIR、T1-c）への柔軟なクロスモダリティ翻訳を可能にする統合的でスケーラブルな生成的敵対ネットワークを提案する。合成DIR画像において放射線科医水準の類似性を達成し、専門家評価では実画像と合成画像の間に有意差が認められなかった（p = 0.1432）。

ABSTRACT

Synthesizing MR imaging sequences is highly relevant in clinical practice, as single sequences are often missing or are of poor quality (e.g. due to motion). Naturally, the idea arises that a target modality would benefit from multi-modal input, as proprietary information of individual modalities can be synergistic. However, existing methods fail to scale up to multiple non-aligned imaging modalities, facing common drawbacks of complex imaging sequences. We propose a novel, scalable and multi-modal approach called DiamondGAN. Our model is capable of performing exible non-aligned cross-modality synthesis and data infill, when given multiple modalities or any of their arbitrary subsets, learning structured information in an end-to-end fashion. We synthesize two MRI sequences with clinical relevance (i.e., double inversion recovery (DIR) and contrast-enhanced T1 (T1-c)), reconstructed from three common sequences. In addition, we perform a multi-rater visual evaluation experiment and find that trained radiologists are unable to distinguish synthetic DIR images from real ones.

研究の動機と目的

• 運動やプロトコルのばらつきによるMRIシーケンスの欠落または低品質という臨床的課題に対処する。
• 空間的整合性を要するか、1対1または1対多のマッピングに限定される既存のGANの限界を克服する。
• 任意の入力モodalのサブセットからの複数対1のクロスモダリティ合成を、スケーラブルかつエンドツーエンドで学習可能にする。
• ダブルインバージョンリコバリー（DIR）や対比増強T1（T1-c）といった臨床的に重要なシーケンスの合成品質を向上させる。
• 経験豊富な神経放射線科医によるマルチレーティング評価を通じて、臨床的妥当性を示す。

提案手法

• 入力モダリティの存在を符号化する条件ベクトルc（例：T1、T2、FLAIRの場合は[1,1,1]）を導入し、画像の次元に合わせて空間的にブロードキャストする。
• マルチモーダル入力と条件ベクトルの両方を入力とし、目的モダリティ出力を生成する2ストリーム生成器アーキテクチャを設計する。
• 空間的整合性がなくても、多様な入力組み合わせにおいて構造的一致性を保証するため、マルチモーダルなサイクル整合性損失を採用する。
• 入力モダリティからの実画像と合成画像、および目的出力からの実画像と合成画像をそれぞれ区別する2つのペaired識別器（D1およびD2）を用いる。
• すべての可能な入力サブセットをサポートする統合フレームワークを用いてエンドツーエンドでモデルを学習し、各組み合わせごとのモデル再訓練を回避する。
• すべての入力組み合わせに同一の生成器および識別器ペアを用いることで、スケーラビリティと効率的な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 統合的GANフレームワークは、非整合なマルチモーダル入力の任意のサブセットから、高品質なMRIシーケンスを効果的に合成できるか？
• RQ2 単一モダリティ入力と比較して、多モーダル入力はDIRやT1-cのような複雑なシーケンスの合成品質を顕著に向上させるか？
• RQ3 合成MRIシーケンスは、熟練した放射線科医による臨床的評価において、実画像と区別できないか？
• RQ4 提案されたマルチモーダルなサイクル整合性損失は、欠落または変動する入力モダリティに対し、どのように頑健性と一般化性能を向上させるか？
• RQ5 DiamondGANは、MRI合成における定量的および定性的な指標において、CycleGANなどのベースラインモデルをどの程度上回るか？

主な発見

• DiamondGANは、DIR合成においてCycleGANより統計的に有意なPSNRおよびMAEの向上を達成した（p < 0.0001）。3つの入力モダリティを用いた場合、PSNRは18.63、MAEは0.058であった。
• T1+T2+Flair入力で生成された合成DIR画像は、放射線科医から4.54点（満点5点）の評価を受け、実DIR画像（4.7点）にほぼ等しく、有意差は認められなかった（p = 0.1432）。
• 3つの入力モダリティを用いた場合、放射線科医は合成DIR画像と実画像を区別できず、高い臨床的妥当性を示した。
• T1+T2+Flairの組み合わせは、DIRにおいて最高のPSNR（18.63）および最低のMAE（0.058）を達成し、T1-cにおいても最高のPSNR（20.86）および最低のMAE（0.045）を記録した。
• FLAIRのみを用いた合成は、放射線科医から一貫して非現実的と評価されたことから、複雑なシーケンスのための多モーダル入力の重要性が浮き彫りになった。
• モデルはすべての入力サブセットで頑健な性能を示し、各組み合わせごとの再トレーニングが不要であったため、スケーラビリティと柔軟性が確認された。