[論文レビュー] Fast-DDPM: Fast Denoising Diffusion Probabilistic Models for Medical Image-to-Image Generation

Hongxu Jiang, Muhammad Imran+5 more|arXiv (Cornell University)|May 23, 2024

Image and Signal Denoising Methods被引用数 7

ひとこと要約

Fast-DDPM は、タスク特有の 10 ステップスケジューラを用いることで DDPM の学習時間とサンプリング時間の両方を削減し、医用画像-画像生成タスクで最先端の結果を達成します。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have achieved unprecedented success in computer vision. However, they remain underutilized in medical imaging, a field crucial for disease diagnosis and treatment planning. This is primarily due to the high computational cost associated with (1) the use of large number of time steps (e.g., 1,000) in diffusion processes and (2) the increased dimensionality of medical images, which are often 3D or 4D. Training a diffusion model on medical images typically takes days to weeks, while sampling each image volume takes minutes to hours. To address this challenge, we introduce Fast-DDPM, a simple yet effective approach capable of improving training speed, sampling speed, and generation quality simultaneously. Unlike DDPM, which trains the image denoiser across 1,000 time steps, Fast-DDPM trains and samples using only 10 time steps. The key to our method lies in aligning the training and sampling procedures to optimize time-step utilization. Specifically, we introduced two efficient noise schedulers with 10 time steps: one with uniform time step sampling and another with non-uniform sampling. We evaluated Fast-DDPM across three medical image-to-image generation tasks: multi-image super-resolution, image denoising, and image-to-image translation. Fast-DDPM outperformed DDPM and current state-of-the-art methods based on convolutional networks and generative adversarial networks in all tasks. Additionally, Fast-DDPM reduced the training time to 0.2x and the sampling time to 0.01x compared to DDPM. Our code is publicly available at: https://github.com/mirthAI/Fast-DDPM.

研究の動機と目的

• 医用画像分野での拡散モデルのモチベーションを提起し、学習とサンプリングの高い計算コストに対処する。
• 学習とサンプリングを 10 ステップのフレームワークに合わせる Fast-DDPM を提案する。
• 2D/3D 医用データにおける効率的な拡散のためのタスク特化ノイズスケジューラ（均一・非均一）を開発する。
• マルチ画像超解像、ノイズ除去、画像間翻訳を跨ぐ速度向上と品質向上を示す。

提案手法

• 学習時およびサンプリング時に 1000 ステップの代わりに 10 ステップのノイズスケジューラを使用する。
• 2 つのスケジューラを定義する：10 ステップの均一サンプリングとノイズが高い領域で密なステップを取る非均一サンプリング。
• 単純な損失で 10 ステップの過程を対象とした条件付きデノイザー εθ(x(t),c,t) を訓練する。
• 効率的なサンプリングのために DDIM 逆時 ODE ソルバーを適用する。
• 条件 c を与えた場合の条件付きモデル x0 を 10 ステップ過程で訓練・サンプルする。
• 3 つの医用画像間タスクで PSNR と SSIM で評価する。

実験結果

リサーチクエスチョン

• RQ1 医用画像間タスクにおいて 10 ステップ時間拡散スケジュールは 1000 ステップ DDPM の性能と同等かそれを上回ることができるか。
• RQ2 均一 vs 非均一の 10 ステップスケジューラはタスク依存の利点をもたらすか。
• RQ3 Fast-DDPM はマルチ画像超解像、ノイズ除去、翻訳で DDPM および CNN/GAN ベースのベースラインを上回るか。
• RQ4 医用画像で 10 ステップ Fast-DDPM による学習・推論の速度向上はどの程度か。
• RQ5 タスク間での時間ステップ数の変化に対する性能感度はどの程度か。

主な発見

Method	PSNR	SSIM	Training time	Inference Time
miSRCNN	26.5	0.87	1 h	0.01 s
miSRGAN	26.8	0.88	40 h	0.04 s
DDPM	25.3	0.83	136 h	3.7 m
Fast-DDPM	27.1	0.89	26 h	2.3 s

• Fast-DDPM は検証タスク（例: 超解像、ノイズ除去、翻訳）で DDPM よりも高い PSNR および SSIM を達成する。
• SR での学習時間は DDPM の 136 h から Fast-DDPM の 26 h に低減; ボリュームあたりの推論時間は 3.7 分から 2.3 秒へ低下。
• ノイズ除去において DDPM と比較して推論速度が約 100 倍、学習は約 5 倍の向上。
• DDIM サンプリングを用いた 10 ステップ Fast-DDPM はタスク全体で競争力のあるまたは優れた結果を示す。
• 均一 vs 非均一スケジューラはタスク依存の利点を示す。SR では非均一が有利、ノイズ除去/翻訳では均一が有利。
• 訓練を拡張した Fast-DDPM* は翻訳タスクでの SSIM をさらに改善する。