[論文レビュー] Synthetic CT Generation from MRI using 3D Transformer-based Denoising Diffusion Model

Shaoyan Pan, Elham Abouei+11 more|arXiv (Cornell University)|May 31, 2023

Medical Imaging Techniques and Applications被引用数 10

ひとこと要約

本論文は MC-DDPM を提案する。これは MRI を高品質な合成 CT に変換するトランスフォーマー ベースのノイズ除去拡散モデルで、放射線治療のための脳と前立腺の領域で数分で優れた結果を達成する。

ABSTRACT

Magnetic resonance imaging (MRI)-based synthetic computed tomography (sCT) simplifies radiation therapy treatment planning by eliminating the need for CT simulation and error-prone image registration, ultimately reducing patient radiation dose and setup uncertainty. We propose an MRI-to-CT transformer-based denoising diffusion probabilistic model (MC-DDPM) to transform MRI into high-quality sCT to facilitate radiation treatment planning. MC-DDPM implements diffusion processes with a shifted-window transformer network to generate sCT from MRI. The proposed model consists of two processes: a forward process which adds Gaussian noise to real CT scans, and a reverse process in which a shifted-window transformer V-net (Swin-Vnet) denoises the noisy CT scans conditioned on the MRI from the same patient to produce noise-free CT scans. With an optimally trained Swin-Vnet, the reverse diffusion process was used to generate sCT scans matching MRI anatomy. We evaluated the proposed method by generating sCT from MRI on a brain dataset and a prostate dataset. Qualitative evaluation was performed using the mean absolute error (MAE) of Hounsfield unit (HU), peak signal to noise ratio (PSNR), multi-scale Structure Similarity index (MS-SSIM) and normalized cross correlation (NCC) indexes between ground truth CTs and sCTs. MC-DDPM generated brain sCTs with state-of-the-art quantitative results with MAE 43.317 HU, PSNR 27.046 dB, SSIM 0.965, and NCC 0.983. For the prostate dataset, MC-DDPM achieved MAE 59.953 HU, PSNR 26.920 dB, SSIM 0.849, and NCC 0.948. In conclusion, we have developed and validated a novel approach for generating CT images from routine MRIs using a transformer-based DDPM. This model effectively captures the complex relationship between CT and MRI images, allowing for robust and high-quality synthetic CT (sCT) images to be generated in minutes.

研究の動機と目的

• MRI ベースの合成 CT を用いて放射線治療における CT シミュレーションと画像登録の誤差を低減する動機づけ。
• 患者の MRI を条件にした拡散確率モデルを用いて MRI から CT へ変換する方法を開発する。
• DDPM フレームワーク内で shifted-window トランスフォーマー網（Swin-Vnet）を活用し、CT のデノイズ化を行いながら MRI の解剖学的構造を保持する。
• 脳と前立腺のデータセットを用いて、定量的な CT 精度指標でこのアプローチを検証する。

提案手法

• 実際の CT 画像にガウスノイズを加えるフォワード拡散プロセスを使用する。
• 患者の MRI を条件としてノイズのある CT 画像をデノイズするために Swin-Vnet を用いるリバース拡散プロセスを適用する。
• MRI からノイズフリーな CT を生成するために 3D トランスフォーマー ベースのデノイズ diffusion probabilistic model（MC-DDPM）を統合する。
• 生成された sCT をグラウンドトゥルース CT と MAE、PSNR、MS-SSIM、NCC を用いて評価する。
• データセット依存の性能を示すために脳と前立腺の結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 MC-DDPM は解剖学的忠実性を保持しつつ MRI から CT を正確に生成できるか？
• RQ2 標準的な sCT 指標の観点から、脳データと前立腺データセットで方法の性能はどのように異なるか？
• RQ3 提案手法の定量的改善点（MAE、PSNR、SSIM、NCC）は、グラウンドトゥルース CT と比較してどれくらいか？
• RQ4 ケースあたり数分で実用的な放射線治療計画に十分な速さで sCT を生成できるか？

主な発見

• 脳 sCT: MAE 43.317 HU, PSNR 27.046 dB, SSIM 0.965, NCC 0.983.
• 前立腺 sCT: MAE 59.953 HU, PSNR 26.920 dB, SSIM 0.849, NCC 0.948.
• MC-DDPM は CT–MRI の関係を効果的に捉え、解剖学的に一致する sCT を数分で生成する。
• MRI 上の Swin-Vnet の条件付けにより、リバース拡散過程で CT の高品質なデノイズが可能になる。