[論文レビュー] Tweedie Moment Projected Diffusions For Inverse Problems

Benjamin Boys, Mark Girolami+4 more|arXiv (Cornell University)|Oct 10, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

本稿では、Tweedieの公式を用いて高次モーメントを活用することで事後分布の近似を改善する、逆問題を解くための新規手法Tweedieモーメント射影拡散（TMPD）を提案する。平均と分散の推定を組み合わせることで、ステップサイズに依存しない統計的に整合性のあるサンプリングが可能となり、ガウス分布設定下でのサンプル品質と理論的最適性において先行手法を上回る。

ABSTRACT

Diffusion generative models unlock new possibilities for inverse problems as they allow for the incorporation of strong empirical priors in scientific inference. Recently, diffusion models are repurposed for solving inverse problems using Gaussian approximations to conditional densities of the reverse process via Tweedie's formula to parameterise the mean, complemented with various heuristics. To address various challenges arising from these approximations, we leverage higher order information using Tweedie's formula and obtain a statistically principled approximation. We further provide a theoretical guarantee specifically for posterior sampling which can lead to a better theoretical understanding of diffusion-based conditional sampling. Finally, we illustrate the empirical effectiveness of our approach for general linear inverse problems on toy synthetic examples as well as image restoration. We show that our method (i) removes any time-dependent step-size hyperparameters required by earlier methods, (ii) brings stability and better sample quality across multiple noise levels, (iii) is the only method that works in a stable way with variance exploding (VE) forward processes as opposed to earlier works.

研究の動機と目的

• 拡散モデルにおける逆問題のための事後分布サンプリングの非可解性に対処すること。
• ガウス近似とヒューリスティックなステップサイズに依存する先行手法を改善すること。
• Tweedieの公式を用いて、平均と分散の両方を用いた、より高次の事後分布スコアの原理的近似を構築すること。
• 既存の拡散ベースの逆問題ソルバに共通する時間依存のステップサイズハイパーパrameterを排除すること。
• ガウス分布および非ガウス分布設定下でのサンプル品質の向上と理論的最適性を実証すること。

提案手法

• 本手法はTweedieの公式を用いて、拡散された尤度の一次モーメント（平均）および二次モーメント（分散）を計算し、より正確な事後分布近似を可能にする。
• モーメント射影を適用して推定されたモーメントを拡散過程にマッピングし、時間依存のハイパーパrameterを必要としないスコアベースの事後分布近似を構築する。
• 高次モーメント情報に基づく尤度の勾配推定を構築し、これを既存の拡散モデルに統合する。
• 計算効率を高めるために、対角近似版のDTMPDを導入し、重要な性能向上を維持する。
• 本手法は、ノイズ付き線形逆問題に適用され、合成および実画像復元タスクにおける事前学習済み拡散事前分布を用いて検証される。
• 理論的分析により、ガウス分布データ分布下での最適性が示され、ガウスケースでは事後モーメントの正確な回復が達成される。

Figure 1: Error to target posterior for a Gaussian random field . (Top row) visualisation of the empirical mean and variance of the 1500 samples that were used to compute this error against the analytical moments. (Bottom) Wasserstein distances of different methods w.r.t. sample size. For details, s

実験結果

リサーチクエスチョン

• RQ1 Tweedieの公式から得られる高次モーメント情報は、拡散ベースの逆問題における事後分布近似を改善できるか？
• RQ2 分散推定を組み込むことで、より良いサンプル品質が得られ、ヒューリスティックなハイパーパrameterへの依存が軽減されるか？
• RQ3 提案手法はガウス分布データに対して最適であるか？ また、統計的効率の観点から既存手法と比較してどうなるか？
• RQ4 本手法はガウス混合分布や実画像復元タスクなどの非ガウス設定へ一般化可能か？
• RQ5 時間依存のステップサイズハイパーパラメータの削除は、事後分布サンプリングの性能と安定性にどのように影響するか？

主な発見

• ガウス確率場設定下では、TMPDは事後分布の平均と分散を正確に回復し、統計的最適性を示す。
• CIFAR-10画像超解像（4×バイキュービック補間、σ=0.05ノイズ）において、TMPDはPSNR 0.730±0.080を達成し、ΠGDM（0.711±0.076）およびDPS（0.508±0.141）を上回った。
• 『半分マスク』を用いた画像穴埋め補完（σ=0.05ノイズ）において、TMPDはPSNR 0.714±0.092を達成し、DPS（0.457±0.014）およびΠGDM（0.429±0.077）を著しく上回った。
• 2×最近傍補間を用いた超解像（σ=0.1ノイズ）において、TMPDはPSNR 0.633±0.144を達成し、DPS（0.301±0.133）およびΠGDM（0.519±0.113）を上回った。
• σ=0.01ノイズの穴埋め補完において、TMPDはPSNR 0.789±0.111を達成し、DPS（0.616±0.127）およびΠGDM（0.668±0.101）を著しく上回った。
• 時間依存のステップサイズハイパーパラメータのチューニングが不要であることが、さまざまなノイズレベルおよびタスクで一貫した性能を示すことで実証された。

Figure 2: We display the first two dimensions of the GMM inverse problem for one of the measurement models tested ( ${\mathbf{H}},\sigma_{{\textnormal{y}}}=0.1,(d_{{\textnormal{x}}},d_{{\textnormal{y}}})=(80,1)$ ). The blue dots represent samples from the target posterior, while the red dots corresp