[論文レビュー] Generating fMRI volumes from T1-weighted volumes using 3D CycleGAN

David Abramian, Anders Eklund|arXiv (Cornell University)|Jul 19, 2019

Advanced Neuroimaging Techniques and Applications参考文献 16被引用数 10

ひとこと要約

本稿では、対応データが不要なドメイン変換を学習するために、サイクル整合性のある敵対的ネットワークを活用し、T1強調MRIボリュームから機能的MRI（fMRI）ボリュームを合成し、逆にそれも可能にする3次元CycleGANフレームワークを提案する。この手法は、1000 Functional Connectomes Projectの152×180×120ボリュームを用いてV100 GPUで24日間訓練し、現実的で歪みのないfMRI合成を実現し、登録評価や歪み補正への応用が可能である。

ABSTRACT

Registration between an fMRI volume and a T1-weighted volume is challenging, since fMRI volumes contain geometric distortions. Here we present preliminary results showing that 3D CycleGAN can be used to synthesize fMRI volumes from T1-weighted volumes, and vice versa, which can facilitate registration.

研究の動機と目的

• 機能的MRIと解剖的MRIの間の幾何的歪みとコントラスト差異によって引き起こされるfMRI-T1登録の課題に対処すること。
• 登録アルゴリズムの評価のための真の基準（グランドトゥルース）として使用可能な、歪みのない現実的なfMRIボリュームをT1強調画像から生成すること。
• 特にT1からfMRIおよびその逆への非ペairedなクロスモodalティ画像変換に、3次元CycleGANの可能性を検討すること。
• 非線形登録の基準として合成fMRIボリュームを用いることで、歪み補正を可能にすること。
• 今後の研究において、3次元空間相関を保持することを重視し、全ボリューム3次元学習と部分ボリュームアプローチの比較を行うこと。

提案手法

• 本手法は、T1からfMRIおよびfMRIからT1への2つの生成器と、各ドメインにおける実画像対合成画像を分類する2つの識別器を備えた3次元CycleGANを採用し、敵対的損失を用いて訓練する。
• サイクル整合性損失により、ドメインAのボリュームをBに変換し、再びAに変換した結果が元の入力に近づくように保証する：G_B2A(G_A2B(I_A)) ≈ I_A および G_A2B(G_B2A(I_B)) ≈ I_B。
• 生成器は3次元畳み込み、6つの残差ブロック、ダウンサンプリングおよびアップサンプリング層を含み、ReLUおよびtanh活性化関数を用いる。
• 識別器は3次元畳み込みとLeakyReLU（0.2）を用い、51×51×51の受容fieldを持つPatchGAN識別器を採用して局所的な画像パッチを分類する。
• データ前処理では、FSLのepi_regおよびflirtを用いてfMRIとT1ボリュームをMNI 152テンプレートに登録し、その後152×180×120ボクセルにクロップした。
• データ増強として、160名の被験者それぞれに10回のランダム3次元回転（平均0°、標準偏差10°）を適用し、合計1,760個の増強済みトレーニングボリュームを生成した。

実験結果

リサーチクエスチョン

• RQ1 非ペアトレーニングデータを用いて、T1強調MRIボリュームから現実的なfMRIボリュームを合成する3次元CycleGANが、有効に機能するか？
• RQ2 部分ボリュームではなく全ボリューム3次元データを用いることで、生成されたfMRI画像の品質と一貫性が向上するか？
• RQ3 合成fMRIボリュームは、T1-fMRI登録アルゴリズムの評価のための信頼できるグランドトゥルースとして機能するか？
• RQ4 3次元CycleGANは、fMRIデータに見られる深刻な幾何的歪みに対しても、解剖的構造を適切に保持できるか？
• RQ5 スライス間連続性と構造的忠実度の観点から、2次元アプローチと比較して3次元CycleGANの性能はどの程度優れているか？

主な発見

• 3次元CycleGANは、T1強調画像から現実的なfMRIボリュームを効果的に生成でき、視覚的品質から解剖的構造の適切な保持が示された。
• 特に歪みが少ない上部脳領域では、合成fMRIボリュームに一貫性のあるコントラストと空間パターンが観察された。
• 幾分歪みが強い下部脳領域では、強力な非線形変換を学習しており、強度と空間的変動に耐性があることが示された。
• 152×180×120ボリュームを用いたトレーニングとミニバッチサイズ1の組み合わせでは、Nvidia Tesla V100 GPU（32GBメモリ）で24日間の訓練が必要だった。
• 非ペアで登録されていないT1およびfMRIボリュームを用いたクロスモダリティ変換の可能性が実証され、登録ベンチマークへの応用が可能であることが示された。
• 結果から、合成fMRIボリュームはT1ソースに内在的に登録済みであるため、非線形登録を用いた歪み補正の基準として利用可能であると示唆された。