[論文レビュー] Unsupervised Medical Image Translation with Adversarial Diffusion Models

Muzaffer Özbey, Onat Dalmaz+5 more|arXiv (Cornell University)|Jul 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 32

ひとこと要約

SynDiffは、条件付き敵対的拡散フレームワークを用いた教師なし医用画像翻訳を提案し、ペアなしデータを用いてソースモダリティとターゲットモダリティ間の高忠実度マッピングを実現します。高速な敵対的拡散プロセスとサイクル整合性を持つ非拡散モジュールを結合し、多重コントラストMRIとMRI-CTのようなモダリティ間の翻訳を可能にします。

ABSTRACT

Imputation of missing images via source-to-target modality translation can improve diversity in medical imaging protocols. A pervasive approach for synthesizing target images involves one-shot mapping through generative adversarial networks (GAN). Yet, GAN models that implicitly characterize the image distribution can suffer from limited sample fidelity. Here, we propose a novel method based on adversarial diffusion modeling, SynDiff, for improved performance in medical image translation. To capture a direct correlate of the image distribution, SynDiff leverages a conditional diffusion process that progressively maps noise and source images onto the target image. For fast and accurate image sampling during inference, large diffusion steps are taken with adversarial projections in the reverse diffusion direction. To enable training on unpaired datasets, a cycle-consistent architecture is devised with coupled diffusive and non-diffusive modules that bilaterally translate between two modalities. Extensive assessments are reported on the utility of SynDiff against competing GAN and diffusion models in multi-contrast MRI and MRI-CT translation. Our demonstrations indicate that SynDiff offers quantitatively and qualitatively superior performance against competing baselines.

研究の動機と目的

• 診断評価とプロトコルの多様性を向上させるための多モーダル画像診断の動機づけ。
• モダリティ間の不適切で非線形なターゲット合成をデータ駆動の事前情報で解決する。
• 解剖学的整合性を保ちながら、ペアなしソース-ターゲットデータセットからの教師なし翻訳を可能にする。

提案手法

• SynDiffを提案する。大きなステップサイズkによる高速サンプリングを備えた条件付き拡散モデル。
• ソース画像からのガイダンスを用いてノイズを除去するソース条件付き敵対的プロジェクターを導入。
• 拡散モジュールと非拡散モジュールを組み合わせたサイクル整合性アーキテクチャを用い、ペアなしの学習を可能にする。
• ターゲットから対となるソース画像を推定する非拡散モジュールを用い、教師なし学習を可能にする。
• 両モダリティに跨るサイクル整合性と敵対的損失を用いて共同訓練する。

実験結果

リサーチクエスチョン

• RQ1 SynDiffはペアなしデータを用いてモダリティ間で高忠実度で現実的な翻訳を達成できるか？
• RQ2 敵対的射影を伴う条件付き拡散は、標準拡散モデルよりサンプリングの効率と精度を向上させるか？
• RQ3 提案されたサイクル整合性アーキテクチャは、マルチコントラストMRIとMRI-CT翻訳における教師なし学習でどのように機能するか？
• RQ4 画像品質と多様性の観点で、SynDiffはGANおよび拡散ベースのベースラインとどう比較されるか？

主な発見

• SynDiffは競合ベースラインに対して定量的および定性的に優れた性能を示す。
• 本手法はペアなしデータを用いたマルチコントラストMRIとMRI-CT間の効果的な翻訳を可能にする。
• 大きなステップサイズを用いた高速拡散スキームと敵対的プロジェクターがサンプリング忠実度を維持する。
• 拡散と非拡散モジュールを結合したサイクル整合性フレームワークは教師なし学習を可能にする。
• 解剖学的に対応するソース画像によって誘導される高忠実度のターゲット画像を提供する。
• SynDiffのコードは公開されています。