[論文レビュー] Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors

Yazid Janati, Moufad, Badr+3 more|arXiv (Cornell University)|Mar 18, 2024

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用数 3

ひとこと要約

本稿では、ノイズ除去拡散モデル（DDM）事前分布を用いたベイesian線形逆問題における事後分布からのサンプリングのための新規手法、分割統治的事後サンプリング（DCPS）を提案する。分割統治戦略を用いて事後サンプリング問題を一連のより単純な中間問題に分解し、ランジュバンダイナミクスを用いた変分推論を活用することで、タスク固有のチューニングなしに、近似誤差を低減し、画像修復タスクにおける再構築品質を向上させた。

ABSTRACT

Recent advancements in solving Bayesian inverse problems have spotlighted denoising diffusion models (DDMs) as effective priors. Although these have great potential, DDM priors yield complex posterior distributions that are challenging to sample. Existing approaches to posterior sampling in this context address this problem either by retraining model-specific components, leading to stiff and cumbersome methods, or by introducing approximations with uncontrolled errors that affect the accuracy of the produced samples. We present an innovative framework, divide-and-conquer posterior sampling, which leverages the inherent structure of DDMs to construct a sequence of intermediate posteriors that guide the produced samples to the target posterior. Our method significantly reduces the approximation error associated with current techniques without the need for retraining. We demonstrate the versatility and effectiveness of our approach for a wide range of Bayesian inverse problems. The code is available at \url{https://github.com/Badr-MOUFAD/dcps}

研究の動機と目的

• 複雑な深層生成的事前分布、特にノイズ除去拡散モデル（DDM）を用いたベイesian逆問題における事後サンプリングの課題に対処すること。
• 漂移項の近似に依存する従来手法の限界を克服すること。これらはしばしば高い近似誤差とハイパーパramータに敏感な結果をもたらす。
• DDM事前分布の構造を活用して、事後分布を一連のより単純な中間問題に分解する、原理的かつスケーラブルなサンプリングフレームワークの構築。
• 超解像、穴埋め、色付けなどの画像修復タスクにおいて、タスク固有のハイパーパramータチューニングなしに、高品質な再構築を達成すること。
• 分解レベル（L）を増やすことでFeynman–Kacモデルの長さを短くし、近似誤差を低減する理論的根拠に基づくアプローチの提供。

提案手法

• 標準正規分布から目的の事後分布へ滑らかな経路を形成する一連の擬似事後分布 $ q_{k_ au}^y $ を導入し、離散化された時間グリッド $ \tau = 0, \dots, L $ でパラメータ化する。
• 各ステップ $ \ell \in \llbracket 0, L-1 \rrbracket $ において、非一様マルコフ遷移核を有するFeynman–Kacモデルとしての中間事後分布 $ q_{k_{\ell}}^y $ を定義する。
• 各中間分布の逆遷移核を、$ q_{k_{\ell+1}}^y $ のサンプルから初期化されたガウス変分近似 $ q_{k_{\ell+1}}^{y,\ell} $ を用いて近似する。
• $ G $ ステップの未調整ランジュバンアルゴリズムを用いて $ q_{k_{\ell+1}}^{y,\ell} $ からサンプリングし、中間事後分布の効率的探索を保証する。
• ランジュリンダイナミクスと非一様マルコフ連鎖遷移を組み合わせたバックワードサンプリング戦略を用い、$ q_{k_{\ell+1}}^y $ から $ q_{k_{\ell}}^y $ へサンプルを伝搬することで、近似誤差を最小化する。
• 理論的結果を活用し、$ k_{\ell+1} - k_\ell $ の長さ（すなわち $ L $ の増加）を短くすることでガウス近似誤差を低減でき、高忠実度の事後サンプリングが可能になることを示す。

Figure 2: Illustration of DCPS with $L=3$ . Red dots refer to the distribution path ( 4.1 ) and $(\mathrm{L})$ denotes Langevin steps targeting $\smash{p^{y,\ell-1}_{{k_{\ell}}}}$ initialized at approximate samples from $\smash{p^{y}_{{k_{\ell}}}}$ . Arrows starting from $\smash{p^{y,\ell-1}_{{k_{\e

実験結果

リサーチクエスチョン

• RQ1 従来の漂移項近似手法と比較して、分割統治戦略がDDM事前分布の事後サンプリングにおける近似誤差を低減できるか。
• RQ2 本フレームワークにおいて、中間Feynman–Kacモデルの長さが事後分布近似の精度にどのように影響するか。
• RQ3 提案手法が、タスク固有のハイパーパramータチューニングなしに、画像修復タスクで高品質な再構築を達成できるか。
• RQ4 DPS や DDRM と比較して、本手法のサンプルの多様性と観測画像領域との一貫性はどのように異なるか。
• RQ5 変分近似とランジュバンダイナミクスが、サンプリングチェーンの混合性と収束性に及ぼす影響は何か。

主な発見

• DCPSは、4×および16×の超解像、アウトペイント、穴埋め、色付けタスクにおいて、最先端の再構築品質を達成し、鮮明で一貫性があり多様なサンプルを生成した。
• ガウス混合実験において、$ L=50 $ のDCPSは、SW距離 $ 1.95/2.70 \pm 2.28 $ を達成し、事後分布近似精度においてベースライン手法を顕著に上回った。
• DCPSが $ L=500 $ の場合、SW距離 $ 1.26/2.59 \pm 2.83 $ を達成し、分解レベルを増やすことで近似誤差がさらに低減することを示した。
• DPSとは異なり、観測画像領域との一貫性を保てず、一貫性のないサンプルを生成する傾向があるが、DCPSはすべてのタスクで一貫性のある再構築を生成した。
• DPSとは異なり、DCPSはタスク固有またはデータ固有のハイパーパラメータチューニングを必要とせず、異なるデータセットやタスクで広範なチューニングを要しなかった。
• DDRMは一貫してぼやけた、多様性の低いサンプルを生成し、モード崩壊を示したが、DCPSはいかなるチューニングなしに高い多様性と鮮明さを維持した。