[論文レビュー] CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis

Lan Jiang, Mao Ye+3 more|arXiv (Cornell University)|Mar 24, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

CoLa-Diffは、メモリ使用量を削減し、効率を向上させるために潜在空間で動作する、マルチモodalなMRI合成のための新しい条件付き潜在拡散モデルを提案する。脳領域マスクによる構造的ガイダンスと、マルチコンディションのバランスをとるための自己重み適応を統合することで、優れた解剖学的整合性と画像品質を実現し、欠損したMRIモodalの合成において最先端の性能を達成した。

ABSTRACT

MRI synthesis promises to mitigate the challenge of missing MRI modality in clinical practice. Diffusion model has emerged as an effective technique for image synthesis by modelling complex and variable data distributions. However, most diffusion-based MRI synthesis models are using a single modality. As they operate in the original image domain, they are memory-intensive and less feasible for multi-modal synthesis. Moreover, they often fail to preserve the anatomical structure in MRI. Further, balancing the multiple conditions from multi-modal MRI inputs is crucial for multi-modal synthesis. Here, we propose the first diffusion-based multi-modality MRI synthesis model, namely Conditioned Latent Diffusion Model (CoLa-Diff). To reduce memory consumption, we design CoLa-Diff to operate in the latent space. We propose a novel network architecture, e.g., similar cooperative filtering, to solve the possible compression and noise in latent space. To better maintain the anatomical structure, brain region masks are introduced as the priors of density distributions to guide diffusion process. We further present auto-weight adaptation to employ multi-modal information effectively. Our experiments demonstrate that CoLa-Diff outperforms other state-of-the-art MRI synthesis methods, promising to serve as an effective tool for multi-modal MRI synthesis.

研究の動機と目的

• 臨床現場における欠損したMRIモダリティの課題に対処し、データ効率的でマルチモダリティな合成を可能にする。
• ピクセル空間で動作する従来の拡散モデルが抱える高メモリコストと解剖的構造の保持に失敗するという限界を克服する。
• 条件付き学習を用いて、複数のMRIコントラスト（例：T1、T2、FLAIR）を融合し、ターゲットとなる欠損モダリティを合成する手法を開発する。
• 構造的事前知識と動的条件重み付けを導入することで、多様な入力組み合わせに対する汎化性とロバスト性を向上させる。
• 潜在空間での演算と知識蒸留を活用し、臨床応用に適した高速で高精度なMRI合成を実現する。

提案手法

• 変分自己オートエンコーダー（VAE）のエンコーダーとデコーダーを用いてMRI画像を圧縮・再構成する潜在空間で動作させ、メモリ消費量を削減する。
• 潜在空間でのノイズ除去中に情報損失やノイズ増幅を軽減するため、『類似した協調フィルタリング』を適用した改良型潜在拡散ネットワークを導入する。
• 脳領域マスクを構造的事前知識として組み込み、生成プロセスをガイドすることで、生成画像間での解剖学的整合性を維持する。
• 複数の入力モダリティ（例：T1、T2、FLAIR）の影響を動的にバランスさせるために自己重み適応を採用し、関連する特徴の利用を最大化する。
• 高速な推論を実現するため、知識蒸留を適用し、合成品質を損なわずにサンプリング速度を向上させる。
• 条件付きU-Netアーキテクチャを用い、マルチモダリティ入力と構造的マスクを条件として、逆拡散の各ステップでターゲットMRIモダリティを段階的に生成する。

実験結果

リサーチクエスチョン

• RQ1 複数の入力コントラストを用いたmany-to-one設定において、拡散ベースのモデルが欠損したMRIモダリティを効果的に合成できるか？
• RQ2 潜在空間を活用することで、マルチモダリティMRI合成におけるメモリ使用量の削減と学習／推論効率の向上が図れるか？
• RQ3 構造的事前知識（例：脳領域マスク）が、生成画像における解剖学的整合性をどの程度向上できるか？
• RQ4 複数の入力モダリティが拡散プロセス中に支配的にならないように、効果的にバランスを取る方法は何か？
• RQ5 自己重み適応により、関連するマルチモダリティ情報の活用能力と多様な入力組み合わせへの汎化能力が向上するか？

主な発見

• CoLa-Diffは、BRATSおよびIXIの両データセットで最先端の性能を達成し、PSNRで最大6.01 dB、SSIMで最大5.74%の向上を示した。
• BRATSデータセットでは、T2+T1ce+FLAIRを入力としてT1ceを合成するタスクで、PSNRが28.26±3.13 dB、SSIMが93.65±3.02%を達成し、次に優れたモデル（ProvoGAN）をPSNRで0.81 dB、SSIMで0.82%上回った。
• IXIデータセットでは、T1+T2を入力としてPDを合成するタスクで、PSNRが32.24±2.95 dB、SSIMが96.95±2.26%を達成し、最良のベースライン（Hi-Net）をPSNRで0.45 dB、SSIMで0.44ポイント上回った。
• アブレーションスタディの結果、自己重み適応が最も寄与し、BRATSのT1+T1ce+FLAIR→T2タスクでPSNRが1.9450 dB、SSIMが4.0808%向上した。
• 入力モダリティの数が増えるほど性能が向上：BRATSではT1のみで26.6355 dBからT1+T1ce+FLAIRで28.3126 dBに上昇、IXIでは32.1640 dBから32.8721 dBに上昇し、マルチモダリティ情報の有効な活用が確認された。
• 定性的な結果では、溝や腫瘍境界などの複雑な解剖的構造が優れた精度で保存されており、ベースラインと比較してエラーマップの誤差が少なく、より優れた品質を示した。