[論文レビュー] Adaptive Latent Diffusion Model for 3D Medical Image to Image Translation: Multi-modal Magnetic Resonance Imaging Study

Jonghun Kim, Hyunjin Park|arXiv (Cornell University)|Nov 1, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、パッチクロッピングを伴わずにマルチモodal MRIにおける高精度で一対多の変換を可能にする、適応型潜在拡散モデル（ALDM）を提案する。このモデルは、スイッチ可能な空間的適応正則化（MS-SPADE）ブロックを用い、マルチモーダルMRIにおける高分解能で一貫性のある変換を実現する。ALDMはBraTSおよびIXIデータセットにおいて、定量的指標と多様なソース・ターゲットモダリティペアへの一般化性能において、既存手法を上回る最先端の性能を達成した。

ABSTRACT

Multi-modal images play a crucial role in comprehensive evaluations in medical image analysis providing complementary information for identifying clinically important biomarkers. However, in clinical practice, acquiring multiple modalities can be challenging due to reasons such as scan cost, limited scan time, and safety considerations. In this paper, we propose a model based on the latent diffusion model (LDM) that leverages switchable blocks for image-to-image translation in 3D medical images without patch cropping. The 3D LDM combined with conditioning using the target modality allows generating high-quality target modality in 3D overcoming the shortcoming of the missing out-of-slice information in 2D generation methods. The switchable block, noted as multiple switchable spatially adaptive normalization (MS-SPADE), dynamically transforms source latents to the desired style of the target latents to help with the diffusion process. The MS-SPADE block allows us to have one single model to tackle many translation tasks of one source modality to various targets removing the need for many translation models for different scenarios. Our model exhibited successful image synthesis across different source-target modality scenarios and surpassed other models in quantitative evaluations tested on multi-modal brain magnetic resonance imaging datasets of four different modalities and an independent IXI dataset. Our model demonstrated successful image synthesis across various modalities even allowing for one-to-many modality translations. Furthermore, it outperformed other one-to-one translation models in quantitative evaluations.

研究の動機と目的

• コスト、時間、または安全性の制約により臨床現場でマルチモーダルMRIスキャンが欠落する問題に対処すること。
• スライス間の3D構造的一致性を保持できない2D GANベースの手法の限界を克服すること。
• 再トレーニングを必要とせず、複数のターゲットモダリティに対して一対多の画像変換が可能な、単一で柔軟なモデルを開発すること。
• トレーニングおよび推論時にパッチクロッピングの必要性を排除し、医療画像合成におけるグローバルな3Dコンテキストを保持すること。
• 適応的スタイル制御を用いた潜在拡散法により、3D医療画像間変換の性能と一般化能力を向上させること。

提案手法

• モデルは、パッチベースのトレーニングや推論を回避する、3D医用ボリュームに直接作用する3D潜在拡散フレームワークを採用する。
• 条件付きノイズ除去機構を用い、ターゲットモダリティを生成プロセスをガイドする条件信号として利用する。
• 主な革新点は、MS-SPADE（複数スイッチ可能な空間的適応正則化）ブロックであり、これはソース潜在変数のスタイルをターゲットモダリティの分布に動的に適合させる。
• MS-SPADEにより、例えばT1→T2やT1→FLAIRといった複数の翻訳タスクを、ターゲットモダリティに応じて正則化統計を切り替えることで、1つのモデルで処理可能となる。
• 学習済みコードブックを備えたVQ-VAEベースの潜在ボトルネックを用い、効率的な3D潜在空間表現を実現する。
• L2損失とVQ正則化損失の組み合わせにより、高精度な再構成と分離可能で意味的に明確な潜在特徴が保証される。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを伴わず、複数のソース・ターゲットモダリティ変換タスクに一般化可能な1つの3D潜在拡散モデルは可能か？
• RQ2 MS-SPADEブロックの使用は、3D医療画像合成における性能向上をもたらし、一対多の変換を可能にするか？
• RQ3 本手法は、既存の2Dおよび3D GANベースの手法と比較して、画像品質および構造的一致性において優れているか？
• RQ4 パッチクロッピングを伴わず、グローバルな解剖的コンテキストを保持した高精度な3D画像を生成できるか？
• RQ5 各コンポonent（拡散、パレット、MS-SPADE、圧縮）が最終的な変換性能に果たす寄与度は何か？

主な発見

• 比較対象の全手法の中で、T1→T2変換タスクにおいて最高のPSNR（25.818 ± 0.857）、最小のNMSE（0.079 ± 0.016）、最高のSSIM（0.904 ± 0.012）を達成した。
• T1→T1ce変換においても、PSNRが25.818 ± 0.857を記録し、すべてのアブレーションバージョンおよびベースラインモデルを上回った。
• T1ceをソースモダリティとして用いた場合、T1、T1ce、T2、FLAIRの各ターゲットモダリティの生成において優れた性能を示し、モデルの頑健性と一般化能力を裏付けた。
• アブレーションスタディにより、拡散、パレット、MS-SPADE、VQ正則化を含む完全なモデルが最良の性能を達成しており、各コンponentが段階的に寄与していることが確認された。
• モデルは一対多の変換を成功裏に実行し、1つの統合アーキテクチャを用いて、1つのソース入力から複数のターゲットモダリティを生成した。
• BraTSおよびIXIデータセットの両方において、既存の一対一変換モデルを上回り、定量的指標および視覚的品質の両面で最先端の結果を示した。