[論文レビュー] Fourier Diffusion Models: A Method to Control MTF and NPS in Score-Based Stochastic Image Generation

Matthew Tivnan, Jacopo Teneggi+7 more|arXiv (Cornell University)|Mar 23, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文では、スカラー拡散過程をシフト不変畳み込みと定常ノイズに置き換えることで、各時刻ステップでMTFとNPSを直接制御可能な、新しいスコアベースの生成モデリング手法、Fourier Diffusion Modelsを提案する。本手法は、真の画像から測定済みのぼやけたノイズあり画像への連続的確率フローを、既知のシステム特性を持つものとしてモデル化することで、128または1024ステップでスカラーモデルと同等の性能を達成するが、わずか8ステップで実現可能であり、画像生成性能が顕著に向上する。

ABSTRACT

Score-based stochastic denoising models have recently been demonstrated as powerful machine learning tools for conditional and unconditional image generation. The existing methods are based on a forward stochastic process wherein the training images are scaled to zero over time and white noise is gradually added such that the final time step is approximately zero-mean identity-covariance Gaussian noise. A neural network is then trained to approximate the time-dependent score function, or the gradient of the logarithm of the probability density, for that time step. Using this score estimator, it is possible to run an approximation of the time-reversed stochastic process to sample new images from the training data distribution. These score-based generative models have been shown to out-perform generative adversarial neural networks using standard benchmarks and metrics. However, one issue with this approach is that it requires a large number of forward passes of the neural network. Additionally, the images at intermediate time steps are not useful, since the signal-to-noise ratio is low. In this work we present a new method called Fourier Diffusion Models which replaces the scalar operations of the forward process with shift-invariant convolutions and the additive white noise with additive stationary noise. This allows for control of MTF and NPS at intermediate time steps. Additionally, the forward process can be crafted to converge to the same MTF and NPS as the measured images. This way, we can model continuous probability flow from true images to measurements. In this way, the sample time can be used to control the tradeoffs between measurement uncertainty and generative uncertainty of posterior estimates. We compare Fourier diffusion models to existing scalar diffusion models and show that they achieve a higher level of performance and allow for a smaller number of time steps.

研究の動機と目的

• スカラー拡散過程が純粋な白色雑音に劣化するため、多くの時刻ステップを要する従来のスコアベースの拡散モデルの非効率性を解消すること。
• 前向きおよび逆向きの拡散プロセスにおいて、モード転送関数（MTF）とノイズパワースペクトル（NPS）を直接制御できること。
• 空間的ぼかしやテクスチャのあるノイズといった、実際の画像取得システムの特性に一致するように前向きプロセスを設計することで、画像生成性能を向上させること。
• 逆方向サンプリングステップ数を減らすことで、計算コストを低減すること。
• 低線量CT画像回復という、臨床的に重要な応用分野において、本手法の有効性を示すこと。

提案手法

• 巡回行列を用いたシフト不変畳み込み演算を用いて、スカラー前向き拡散を置き換え、フーリエドメインでシステムのぼかし（MTF）をモデル化する。
• 指定されたノイズパワースペクトル（NPS）を持つ定常ガウスノイズとしてノイズをモデル化することで、周波数ドメインにおけるノイズ特性の制御を可能にする。
• LSIシステム応答とASGNを用いて、前向きプロセスを定義し、最終状態が純粋なノイズではなく、測定済みの画像統計と一致するようにする。
• 時間依存スコア関数をフーリエドメインで推定できるように、スコアマッチングニューラルネットワークを訓練する。これにより、反復的ノイズ除去と鋭さ回復が可能になる。
• 学習済みスコア関数を用いて逆方向サンプリングを実行し、測定データから高品質な画像を生成する。時刻ステップは、ノイズが多くぼやけた測定値から、クリアな画像へと進化する過程を表す。
• 任意の線形システムと加法的ガウスノイズを持つガウス過程に適用可能な、スコアマッチング損失および逆SDE定式化の一般化を用いる。シフト不変系に限定されない。

Figure 1: A probabilistic graphical model for the stochastic process, consisting of linear shift invariant systems and additive stationary Gaussian noise. The measurement-conditioned diffusion model, in light purple, is trained to approximate the reverse process, in dark purple.

実験結果

リサーチクエスチョン

• RQ1 前向き拡散プロセス中にMTFとNPSを制御することで、スコアベース画像生成の効率性と品質が向上するか？
• RQ2 前向きプロセスを純粋なノイズではなく、測定済みの画像統計に収束させるように設計することで、高品質な生成に必要な逆方向サンプリングステップ数が減少するか？
• RQ3 初期の測定済み画像と前向きプロセスの最終状態との類似性が、逆方向サンプリングプロセスの性能に与える影響は何か？
• RQ4 Fourier Diffusion Modelsは、少ないステップ数と低い計算コストで、スカラー拡散モデルを上回る画像回復性能を達成できるか？
• RQ5 性能向上の理由は、逆方向プロセスの開始分布と真のデータ分布との間の分布シフトの低減によるものか、それとも畳み込みネットワークとアーキテクチャ的に整合性があるためか？

主な発見

• Fourier Diffusion Modelsは、わずか8ステップでスカラー拡散モデルが128または1024ステップで達成する性能と同等またはそれ以上の画像品質を実現する。
• すべてのステップ数において、Fourier Diffusion Modelsの平均二乗誤差（MSE）はスカラーモデルを著しく下回り、特に少ないステップ数での改善が顕著に見られる。
• 平均二乗バイアスと平均分散の指標においても、Fourier Diffusion Modelsは一貫した改善を示しており、忠実度の向上と推定誤差の低減を示している。
• 視覚的比較では、特に少ないステップ数での再構成において、Fourier Diffusion Modelsがより高品質な再構成を生成しており、アーティファクトが低減され、構造的要因の保存が向上している。
• Fourier Diffusion Modelsの逆方向プロセスは、スカラーモデルと比較して、時間経過に伴う劣化が少ないことが示され、より安定的かつ正確なスコア推定が可能であると考えられる。
• 結果から、性能向上の背景には、初期の測定画像と前向きプロセスの最終状態との間の分布的類似性が高まっていることが示唆され、神経ネットワークが人工的な劣化プロセスを逆転させる負担が軽減されていると考えられる。

Figure 2: Diagram of the score-matching neural network. The inputs are the forward process sample image, low-dose CT measured image, and sample time. The output is the estimated score function.