[論文レビュー] Removing Structured Noise with Diffusion Models

Tristan S. W. Stevens, van Gorp, Hans+5 more|arXiv (Cornell University)|Jan 20, 2023

Model Reduction and Neural Networks被引用数 9

ひとこと要約

この論文は、信号と構造化ノイズを2つのスコアネットワークで同時にモデル化する共同ポスターフ diffusion フレームワークを導入し、拡散ベースのポスタサンプリングを用いて逆問題における構造化ノイズを除去し、NF/GANベースラインを上回る性能を示します。

ABSTRACT

Solving ill-posed inverse problems requires careful formulation of prior beliefs over the signals of interest and an accurate description of their manifestation into noisy measurements. Handcrafted signal priors based on e.g. sparsity are increasingly replaced by data-driven deep generative models, and several groups have recently shown that state-of-the-art score-based diffusion models yield particularly strong performance and flexibility. In this paper, we show that the powerful paradigm of posterior sampling with diffusion models can be extended to include rich, structured, noise models. To that end, we propose a joint conditional reverse diffusion process with learned scores for the noise and signal-generating distribution. We demonstrate strong performance gains across various inverse problems with structured noise, outperforming competitive baselines that use normalizing flows and adversarial networks. This opens up new opportunities and relevant practical applications of diffusion modeling for inverse problems in the context of non-Gaussian measurement models.

研究の動機と目的

• 拡散モデルによって学習されたデータ駆動事前知識を用いて、 ill-posed な逆問題を解く動機付け。
• 測定プロセスにおける構造化かつ非ガウス分布ノイズを扱うためのポスタサンプリングの一般化。
• 信号とノイズの別々のスコアモデルを備えた joint diffusion フレームワークの導入。
• 逆問題に適合するデータ一貫性戦略を拡散サンプラーと互換性を持たせて提供。
• 競合ベースラインに対して頑健性と性能向上を実証。

提案手法

• 信号 X の s_theta、構造化ノイズ N の s_phi の2つのスコアネットワークを用いた joint conditional reverse diffusion 過程を提案。
• respective data に対する denoising score matching を用いて両スコアモデルを訓練し、p(X_t) および p(N_t) のスコア関数を近似。
• 観測モデル Y = AX + N を joint posterior p(X,N|Y) に組み込み、 prior とデータ項をベイズ重み付きで組み合わせた X および N の勾配を導出。
• 時変パラメータを持つガウス分布として p(Y|X_t,N_t) を近似するデータ一貫性ルール（Pi GDM、DPS、プロジェクション）を導入。
• 適応型 Euler-Maruyama サンプラー（ALD、確率フローODE、Predictor-Corrector などの代替案も）を用いて joint posterior からサンプルを生成。
• データとノイズの別々のデータセットで2段階の拡散訓練を実施し、単一の統一サンプリングループで推論を実行。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを拡張して、信号とノイズの別個の事前分布を学ぶことで構造化ノイズを扱えるか。
• RQ2 joint diffusion samplers は、非ガウス・構造化ノイズを伴う逆問題の回復を正規化フローやGANと比較して改善するか。
• RQ3 データ一貫性ルール（Pi GDM、DPS、プロジェクション）が、構造化ノイズを伴う逆問題の性能にどう影響するか。
• RQ4 拡散ベースの joint posterior samplers は、分布外信号やノイズに対して頑健か。

主な発見

• 信号とノイズの別々のスコアモデルによる joint diffusion は、構造化ノイズタスクにおいて NF および GAN ベースラインを上回る性能向上を実現。
• 本フレームワークは複数のデータ一貫性戦略（Pi GDM、DPS、プロジェクション）をサポートし、標準の拡散サンプラーと互換性を維持。
• データとノイズ用の事前訓練済みスコアモデルを再利用した訓練が可能で、新しいタスクへの柔軟な適応を実現。
• 方法は Baselines に比べて分布外の信号やノイズタイプに対する頑健性が向上。
• 本手法は点推定ではなくポスターサンプリングを可能にし、再構成中の不確実性情報を保持。