[論文レビュー] A Gibbs posterior sampler for inverse problem based on prior diffusion model

Jean‐François Giovannelli|arXiv (Cornell University)|Feb 11, 2026

Markov Chains and Monte Carlo Methods被引用数 0

ひとこと要約

Gibbs-Diffusion Posterior Sampling (G-DPS) アルゴリズムを導入し、線形反問題における拡散事前分布ベースの後方確率をサンプリング。実用的な意味での収束保証と MNIST ベースの数値検証。

ABSTRACT

This paper addresses the issue of inversion in cases where (1) the observation system is modeled by a linear transformation and additive noise, (2) the problem is ill-posed and regularization is introduced in a Bayesian framework by an a prior density, and (3) the latter is modeled by a diffusion process adjusted on an available large set of examples. In this context, it is known that the issue of posterior sampling is a thorny one. This paper introduces a Gibbs algorithm. It appears that this avenue has not been explored, and we show that this approach is particularly effective and remarkably simple. In addition, it offers a guarantee of convergence in a clearly identified situation. The results are clearly confirmed by numerical simulations.

研究の動機と目的

• 大量の例集合から学習した拡散ベースの事前分布を用いて病的に ill-posed な線形反問題に対処する。
• 潜在変数と観測変数の結合後方分布をサンプルする Gibbs サンプリング方式を開発する。
• 前向きおよび後向きの拡散モデルを活用して扱いやすいガウス条件付き分布を得る。
• 数値実験を通じて計算効率と不確実性定量を示す。

提案手法

• 前方問題 y = H x0 + e をガウスノイズとしてモデル化する。
• 拡散事前を前向き p0:T+ および後向き p0:T- マルコフ過程のガウス遷移で表現する。
• .mu_t^theta を学習して後向き遷移を定義し、前向き/後向き結合を KL (diffusion alignment) 距離を最小化して整合させる。
• x0 と x1:T の条件付き分布を更新するブロックGibbsサンプラを構築し、すべてガウスで平均/精度が閉形式となる。
• x_T を N(0, I) からサンプルし、再帰的に t = T-1,...,0 について x_t を N(x_t; mu_t^theta(x_{t+1}), v_t^- I) からサンプルする。
• ガウス条件付き分布をフーリエ領域で FFT を用いて計算し、共分散を対角成分にすることで効率化する。
• 祖先サンプリングを用いて前方/後方の結合を生成し、実用的な後方サンプリング（G-DPS）を実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散事前ベースの後方分布を線形反問題で効率的にサンプルできる Gibbs サンプリング方式が存在するか。
• RQ2 前向き・後向き拡散モデルは、単純なサンプリングに適したガウス条件付き分布を与えるか。
• RQ3 画像デコンボリューションタスクに対する G-DPS の計算効率とスケーラビリティはどうか。
• RQ4 後方サンプリングは ill-posed な逆問題における信頼性のある不確実性定量（後方平均と信用区間）を提供するか。
• RQ5 提案された Gibbs 方式には収束保証または実用的な収束挙動があるか。

主な発見

Pixel 1	Pixel 2	Pixel 3
True	-0.00142	0.55092	0.61704
Estimate	0.00122	0.61773	0.69163
Error	0.0026	0.0668	0.0746
PSD	0.01020	0.05730	0.05719
± 2PSD	✓	✓	✓

• G-DPS は全段階でガウス条件付き分布を生じさせ、サンプリングを容易にする。
• サンプラーは経験的に収束し、チェインは比較的少数の反復（例: 一部ピクセルでは約10程度、他は遅い場合もある）で安定化する。
• MNIST ベースのデコンボリューションのトイ問題で、推定された x0 は地上_truth に密着し、測定値に比べてぼかし/ノイズを低減する。
• 後方不確実性を定量化可能: 後方平均は MMSE 推定に近く、PSD は信頼できる不確実性区間を与え、真の値が二つの PSD の範囲内に入ることが多い。
• 計算効率は顕著であり、1030 回の全実行は約53秒かかり、時間の大半はニューラルネットワーク評価に費やされる。バッチ/GPU 並列化が可能。
• この手法は拡散事前逆問題に対する推定と不確実性定量の一貫したベイズ的枠組みを提供する。