[論文レビュー] DUAL-GLOW: Conditional Flow-Based Generative Model for Modality Transfer

Haoliang Sun, Ronak Mehta+5 more|arXiv (Cornell University)|Aug 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 7

ひとこと要約

DUAL-GLOW は、可逆な正規化フローと関係ネットワークを用いて、MRIスキャンから条件付きで高品質なPET画像を合成する、条件付きフローに基づく生成モデルを提案する。ADNIデータセットにおいて最先端の性能を達成し、シャープで診断的に意味のある合成PET画像を生成するとともに、年齢を条件とした脳代謝低下のモデリングを可能にする。

ABSTRACT

Positron emission tomography (PET) imaging is an imaging modality for diagnosing a number of neurological diseases. In contrast to Magnetic Resonance Imaging (MRI), PET is costly and involves injecting a radioactive substance into the patient. Motivated by developments in modality transfer in vision, we study the generation of certain types of PET images from MRI data. We derive new flow-based generative models which we show perform well in this small sample size regime (much smaller than dataset sizes available in standard vision tasks). Our formulation, DUAL-GLOW, is based on two invertible networks and a relation network that maps the latent spaces to each other. We discuss how given the prior distribution, learning the conditional distribution of PET given the MRI image reduces to obtaining the conditional distribution between the two latent codes w.r.t. the two image types. We also extend our framework to leverage 'side' information (or attributes) when available. By controlling the PET generation through 'conditioning' on age, our model is also able to capture brain FDG-PET (hypometabolism) changes, as a function of age. We present experiments on the Alzheimers Disease Neuroimaging Initiative (ADNI) dataset with 826 subjects, and obtain good performance in PET image synthesis, qualitatively and quantitatively better than recent works.

研究の動機と目的

• 医用画像におけるMRIからPETへの高精細なモodal変換を可能にするフローに基づく生成モデルの開発。
• 小さな医用データセットの課題に対処するため、トレーサブルな尤度推定と正確なサンプリングを可能にする可逆フローを活用する。
• 年齢などの補助属性を条件として用いることで、年齢関連代謝変化を捉えたPET画像の条件付き生成を可能にする。
• 生成されたPET画像の科学的有用性を、疾患分類などの下流タスクにおいて評価する。
• 神経画像学を超えて、スケッチから画像への変換などの標準的なビジョンタスクへもフレームワークの一般化を示す。

提案手法

• DUAL-GLOW は、MRI および PET 画像を共通の潜在空間にマップする2つの可逆な正規化フローを採用し、双方向翻訳を可能にする。
• 2つのモodalの潜在コード間の条件付き分布をモデル化するため、関係ネットワークが導入され、構造的なクロスモダリティマッピングを実現する。
• 可逆性を活用して正確な尤度計算が可能となるため、共通潜在空間分布をモデル化することで、MRI に対するPETの条件付き分布を学習する。
• 年齢などのサイド情報に条件付けたフローを用いることで、年齢依存の代謝パターンを有するPET画像の制御された合成が可能になる。
• 標準的な変数変換則を用いて対数尤度を計算するため、トレーサブルな学習と事前分布からの正確なサンプリングが可能になる。
• L2損失および知覚的損失を用いて、画像品質と構造の保持を図りながら、ADNIデータセット（826例）上でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 低データ環境下において、フローに基づく生成モデルは、MRIスキャンを条件としたPET画像の条件付き分布を効果的に学習できるか？
• RQ2 モデルは、空間的代謝パターンを保持する診断的に意味のある合成PET画像を生成できるか？
• RQ3 年齢を条件として用いることで、脳FDG-PETにおける年齢関連代謝低下を模擬できるか？
• RQ4 DUAL-GLOW の性能は、従来のGANやオートエンコーダーに基づく手法と比較して、神経画像分野におけるモダリティ変換で優れているか？
• RQ5 生成されたPET画像は、アルツハイマー病分類などの下流診断タスクを支援できるか？

主な発見

• DUAL-GLOW は、合成PET画像を用いたアルツハイマー病状態（MCI/AD 対照群）分類で91%の正確度を達成し、実データの94%と同等の性能を示した。
• 合成画像における偽陽性率は3%であり、実データの0%よりもわずかに高く、強力ではあるがやや緩い性能であることを示唆した。
• モデルは年齢関連の低代謝傾向を効果的に捉えており、生成画像において50歳から100歳にかけての平均ROI強度が一貫して低下した。
• 定量的分析により、前頭中回、後部cingulate などの主要ROIsにおける平均強度に年齢増加に伴う明確な低下トレンドが確認され、既知の神経変性パターンと整合した。
• モデルは非医療タスクにも一般化でき、UT-Zap50KおよびCelebAデータセットでスケッチやコマーシャル顔から現実的な画像を生成した。
• 可逆フローの使用により、正確な対数尤度評価と正確なサンプリングが可能となり、低データ環境下での信頼性の高い解釈可能な生成を支援した。