[論文レビュー] Which Contrast Does Matter? Towards a Deep Understanding of MR Contrast using Collaborative GAN

Dong-Wook Lee, Won‐Jin Moon+1 more|arXiv (Cornell University)|May 10, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 35被引用数 9

ひとこと要約

本稿では、複数のMR対比画像多様体を共同でモデル化することで、正確な画像補完に不可欠な対比を特定する共同的生成対抗ネットワーク、CollaGANを提案する。T1、T1Gd、T2、T2-FLAIR対比で訓練することで、外因性対比剤（T1Gd）は代替不能であることが明らかになった一方で、T1 や T2 といった内因性対比は他の対比から合成可能であることが示され、臨床プロトコル設計に貴重な知見を提供する。

ABSTRACT

Thanks to the recent success of generative adversarial network (GAN) for image synthesis, there are many exciting GAN approaches that successfully synthesize MR image contrast from other images with different contrasts. These approaches are potentially important for image imputation problems, where complete set of data is often difficult to obtain and image synthesis is one of the key solutions for handling the missing data problem. Unfortunately, the lack of the scalability of the existing GAN-based image translation approaches poses a fundamental challenge to understand the nature of the MR contrast imputation problem: which contrast does matter? Here, we present a systematic approach using Collaborative Generative Adversarial Networks (CollaGAN), which enable the learning of the joint image manifold of multiple MR contrasts to investigate which contrasts are essential. Our experimental results showed that the exogenous contrast from contrast agents is not replaceable, but other endogenous contrast such as T1, T2, etc can be synthesized from other contrast. These findings may give important guidance to the acquisition protocol design for MR in real clinical environment.

研究の動機と目的

• 臨床現場における欠損または損傷したMR対比データの課題に対処する。これは、プロトコル制限、患者制約、アーチファクトのため、完全なマルチ対比スキャンが得られないことが一般的であるためである。
• 腫瘍セグメンテーションなどの下流タスクにおいて、どのMR対比が不可欠であるかを体系的に調査する。これは、他の対比から合成可能な対比を特定することによって達成される。
• 複数のMR対比間の共同画像多様体をモデル化できるスケーラブルな共同GANフレームワーク（CollaGAN）を構築する。これは、CycleGANなどのペairwise GANに起因する制限を克服することを目的としている。
• 外因性対比剤（T1Gd）と内因性対比（T1、T2、T2-FLAIR）の間で、異なるMR対比の置き換え可能性を実証的根拠で評価する。
• スキャン時間の短縮と患者負担の軽減を図るために、臨床的画像取得プロトコルを最適化する。特に、内因性対比が合成可能である場合に、冗長なスキャンを削減できる。

提案手法

• CollaGANはドメイン固有の条件付けを施した共有ジェネレータおよびディスクラミネータアーキテクチャを採用し、T1、T1Gd、T2、T2F の複数のMR対比ドメインを1つのフレームワーク内で共同でモデル化する。
• ジェネレータは、高解像度特徴、低解像度特徴、中間スケール特徴の3本の並列ブランチで構成されるマルチスケール特徴抽出モジュールを用い、これらを連結することでマルチスケール表現を生成する。
• ディスクラミネータはPatchGANを用いて局所的な画像パッチを本物または偽物として分類し、さらにドメイン分類ヘッドを備えて異なる対比タイプを区別する。
• モデルはサイクル整合性損失と対抗損失を用いて訓練され、過学習を防ぐためにディスクラミネータにドロップアウトを適用する。
• データ拡張には、ランダムスケーリング（0.9–1.1）と50%の確率での左右反転を含める。
• フレームワークはBraTS 2018データと10名の被験者から得られた合成MDME由来対比で評価され、トレーニング・バリデーション・テストに224/28/28の比率が割り当てられる。

実験結果

リサーチクエスチョン

• RQ1 臨床画像診断において、どのMR対比が代替不能であり、どの対比が他の対比から合成可能であるか？
• RQ2 1つの共同GANモデルが複数のMR対比の共同多様体を効果的に学習でき、ペアワイズGANを上回る性能を示せるか？
• RQ3 内因性対比（T1、T2、T2-FLAIR）は、対比剤の存在がない状況においても、他の対比からどれほど正確に合成可能か？
• RQ4 MAGiC由来のFLAIR画像に含まれる合成アーチファクトが、下流のセグメンテーションに与える影響は何か？また、GANベースの合成はこれを緩和できるか？
• RQ5 対比の置き換え可能性の知見は、臨床的MRIプロトコル設計とデータ取得効率にどのような意味を持つのか？

主な発見

• 外因性対比（T1Gd）は代替不能：他の内因性対比から信頼性を持って合成できないことから、正確な診断には対比剤の使用が依然として不可欠であることが示された。
• 内因性対比（T1、T2、T2-FLAIR）は他の対比から効果的に合成可能：欠損した対比を補完できることが実証された。
• 提案されたCollaGANフレームワークは、高品質なMR対比の合成を達成し、アーチファクトが最小限に抑えられ、共同多様体モデリングにおいて従来のGANを上回った。
• MAGiC由来の合成T2-FLAIR画像には、脳脊髄液-組織境界で特徴的な粒状の高信号アーチファクトが存在し、病変と誤認されるおそれがある。
• 補完された対比を用いた腫瘍セグメンテーション性能は高く、BraTS 2018ベンチマークにおいて合成データを用いたセグメンテーションネットワークが競争力のある結果を達成した。
• 本研究は、内因性対比が合成可能である場合に、冗長なスキャンを削減することで臨床プロトコルを最適化できる実証的根拠を提供した。