[論文レビュー] Zero-shot Medical Image Translation via Frequency-Guided Diffusion Models

Yunxiang Li, Hua‐Chieh Shao+6 more|arXiv (Cornell University)|Apr 5, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 6

ひとこと要約

本稿では、拡散プロセス中に高周波数および低周波数フィルタを活用することで解剖学的構造を保持する周波数誘導型拡散モデル（FGDM）を提案する。訓練は源ドメインと標的ドメインのペアデータを一切必要とせず、標的ドメインの画像のみで行うため、CBCTからCT、MRからMRへの翻訳タスクにおいて、FID、PSNR、SSIMの指標で最先端の性能を達成するゼロショット医療画像翻訳を実現する。

ABSTRACT

Recently, the diffusion model has emerged as a superior generative model that can produce high quality and realistic images. However, for medical image translation, the existing diffusion models are deficient in accurately retaining structural information since the structure details of source domain images are lost during the forward diffusion process and cannot be fully recovered through learned reverse diffusion, while the integrity of anatomical structures is extremely important in medical images. For instance, errors in image translation may distort, shift, or even remove structures and tumors, leading to incorrect diagnosis and inadequate treatments. Training and conditioning diffusion models using paired source and target images with matching anatomy can help. However, such paired data are very difficult and costly to obtain, and may also reduce the robustness of the developed model to out-of-distribution testing data. We propose a frequency-guided diffusion model (FGDM) that employs frequency-domain filters to guide the diffusion model for structure-preserving image translation. Based on its design, FGDM allows zero-shot learning, as it can be trained solely on the data from the target domain, and used directly for source-to-target domain translation without any exposure to the source-domain data during training. We evaluated it on three cone-beam CT (CBCT)-to-CT translation tasks for different anatomical sites, and a cross-institutional MR imaging translation task. FGDM outperformed the state-of-the-art methods (GAN-based, VAE-based, and diffusion-based) in metrics of Frechet Inception Distance (FID), Peak Signal-to-Noise Ratio (PSNR), and Structural Similarity Index Measure (SSIM), showing its significant advantages in zero-shot medical image translation.

研究の動機と目的

• 拡散プロセス中の前向き拡散段階で解剖学的詳細が消失するという医療画像翻訳における構造的劣化の深刻な課題に対処すること。
• 源ドメインと標的ドメインのペア画像を一切必要とせず、標的ドメインのデータのみで訓練することで、ゼロショット学習による医療画像翻訳を可能にすること。
• 拡散プロセス中に周波数ドメインフィルタリングを用いることで、高周波数成分の保持を図ることで、翻訳画像の構造的忠実性を向上させること。
• 微調整なしで分布外の源画像に対しても良好に動作する、強力で汎用性の高いモデルの開発。
• 推論時に周波数フィルタのしきい値を動的に調整することで、リアルさと構造的正確性のバランスを取ること。

提案手法

• FGDMはハイパスフィルタを用いて、拡散プロセス中に消失する高周波数の解剖学的詳細（例：エッジ、腫瘍）を抽出・保持する。
• ローパスフィルタは低周波数の構造的コンテンツを保持し、画像全体の形状および強度の一貫性を保証する。
• モデルは標的ドメインの画像（例：CT や MR）のみで訓練され、未観測の源ドメイン画像（例：CBCT）に対してもゼロショット推論が可能になる。
• 周波数フィルタのしきい値（ハイパス用のη、ローパス用のT̃）は推論時に調整可能であり、構造的忠実性とリアルさのバランスを取れる。
• フレームワークは拡散GANのバックボーンに周波数誘導を統合しており、FID、PSNR、SSIMの指標で高い品質の画像生成を実現する。
• 中間および高周波数帯に主に構造的情報が保持されているのを観察し、低周波数コンテンツはモodal間で一貫していることを利用している。

Figure 1: Examples of intensity domain and spatial frequency domain visualizations of three pairs of CBCT images and CT images from different datasets.

実験結果

リサーチクエスチョン

• RQ1 ペアの源-標的画像を一切使用せずに、周波数ドメインフィルタリングを用いることで、拡散ベースの医療画像翻訳における構造的保持を向上させることができるか？
• RQ2 標的ドメインの画像のみで訓練された拡散モデルが、未観測の源ドメイン画像に対してもゼロショットで一般化できるか？
• RQ3 医療画像翻訳において、高周波数成分の保持と低周波数構造的一致性の最適なバランスは何か？
• RQ4 推論時に周波数フィルタパラメータを動的に調整することで、多様な解剖的部位および画像プロトコルに対し性能が向上するか？
• RQ5 FGDMは、SOTAのGANベース、VAEベース、拡散ベースの手法と比較して、解剖学的正確性と画像品質の両面で優れているか？

主な発見

• FGDMは、すべての指標でSOTAのGANベース、VAEベース、拡散ベースの手法を上回り、3つのCBCTからCTへの翻訳タスクにおいて、最小のFréchet Inception Distance（FID）を達成した。
• 翻訳画像と源ドメインのCBCT画像を比較した際、最高のピーク信号対雑音比（PSNR）と構造的類似度指標（SSIM）を達成し、優れた構造的忠実性を示した。
• FGDMは分布外データに対しても高い性能を維持し、頭頸部CTデータのみで訓練したモデルが、微調整なしに肺およびOARsのCBCT画像を正常に翻訳できた。
• 最適な高周波数しきい値ηは約10であり、この値で性能がピークに達した。これより低い値や高い値では、アーチファクトの発生または情報損失により画像品質が劣化した。
• 最適な低周波数保持ステップ数T̃は4と特定され、源CBCTとの構造的類似性と標的CTとの強度類似性の両立を図った。
• 再訓練なしに推論時に周波数フィルタパラメータを調整できる能力により、多様な解剖的部位および画像プロトコルに対し、強固な性能を発揮した。

Figure 2: This illustration presents the statistical data of the Mean Squared Error (MSE) of frequency amplitudes between paired CBCT and CT across various spatial frequencies, derived from the frequency domains of three distinct datasets, where the first row is the average MSE distribution for the