[論文レビュー] Conversion Between CT and MRI Images Using Diffusion and Score-Matching Models

Qing Lyu, Ge Wang|arXiv (Cornell University)|Sep 24, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 53

ひとこと要約

本論文は拡散モデルとスコアマッチング生成モデルをMRI（T2-weighted）入力からCT画像を合成するよう適応し、CNN/GANのベースラインと複数のサンプリング戦略を比較し、モンテカルロサンプリングによって不確実性を定量化する。

ABSTRACT

MRI and CT are most widely used medical imaging modalities. It is often necessary to acquire multi-modality images for diagnosis and treatment such as radiotherapy planning. However, multi-modality imaging is not only costly but also introduces misalignment between MRI and CT images. To address this challenge, computational conversion is a viable approach between MRI and CT images, especially from MRI to CT images. In this paper, we propose to use an emerging deep learning framework called diffusion and score-matching models in this context. Specifically, we adapt denoising diffusion probabilistic and score-matching models, use four different sampling strategies, and compare their performance metrics with that using a convolutional neural network and a generative adversarial network model. Our results show that the diffusion and score-matching models generate better synthetic CT images than the CNN and GAN models. Furthermore, we investigate the uncertainties associated with the diffusion and score-matching networks using the Monte-Carlo method, and improve the results by averaging their Monte-Carlo outputs. Our study suggests that diffusion and score-matching models are powerful to generate high quality images conditioned on an image obtained using a complementary imaging modality, analytically rigorous with clear explainability, and highly competitive with CNNs and GANs for image synthesis.

研究の動機と目的

• 費用対効果の高い多モダリティ診断と放射線治療計画を可能にするためのクロスモダリティ CT-MRI 合成の動機づけ。
• MRIを条件とした拡散モデルとスコアマッチングに基づくフレームワークを開発し、合成CT画像を生成する。
• 複数のサンプリング戦略（DDPM、SDEベースの手法）をCNNおよびGANのベースラインと比較する。
• モンテカルロ平均化とばらつきマップを用いて生成CT画像の予測的不確実性を定量化する。
• クロスモダリティ合成における拡散ベースアプローチの有効性と説明性を、分析的根拠と実証的証拠として提供する。

提案手法

• UNetデノイザーを用いた条件付きDDPMを拡張し、MRI（T2w）からCT条件付き生成へのマッピングを実現する。
• 拡散モデルとスコアベースモデルの conditioning をMRI入力に適合させ、条件付きの逆過程を導出する。
• 複数のサンプリング戦略を実装・比較する：DDPM、Euler-Maruyama（EM）、Prediction-Corrector（PC）、 and Ordinary Differential Equation（ODE）サンプリング。
• 共登録MRI-CTペアを含むGold Atlas pelvis dataset を用いて訓練と評価を行う。
• Monte Carlo sampling（10回の実行）を行い結果を平均化して DDPM-M、EM-M、PC-M、ODE-M を得ることによって不確実性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 MRIを条件とした拡散とスコアマッチングモデルは、CNNおよびGANのベースラインと比較して高い忠実度のCT様画像を生成できるか？
• RQ2 MRI-to-CT合成において、異なるサンプリング戦略（DDPM、EM、PC、ODE）が画像品質と推論速度にどう影響するか？
• RQ3 クロスモダリティ合成におけるMCベースの平均化が画像品質とモデル不確実性に与える影響は？
• RQ4 拡散-スコアモデルは従来の深層学習アプローチと比較して、現実感、細部保持、アーチファクトの出現の点でどうか？

主な発見

• 拡散とスコアマッチングモデルは、定性的・定量的指標に基づいてCNNおよびGANのベースラインより高品質な合成CT画像を生成する。
• モンテカルロ平均化（DDPM-M、EM-M、PC-M、ODE-M）は、単一サンプル出力と比較してSSIMおよびPSNRスコアを上回る。
• サンプリング手法の中で、ODEが最速で、PCが最も遅く、DDPMとEMが競争力のある品質を提供する。
• DDPMは一部のSDEベース手法より忠実度と不確実性を高く示す傾向があるが、手法をまたいで平均化することがばらつきを低減する。
• CNN（過滑化）とGAN（アーチファクト多発）と比較して、拡散ベースのアプローチは合成CT画像に忠実な細部とより少ないアーチファクトを提供する。