[論文レビュー] Posterior Sampling with Denoising Oracles via Tilted Transport

Joan Bruna, Jiequn Han|arXiv (Cornell University)|Jun 30, 2024

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用数 3

ひとこと要約

本稿では、線形逆問題における対数尤度の2次構造と事前分布のノイズ除去オラクルを活用し、元の後方分布を「ブーストされた」後方分布に変換する、新しい手法である傾き付き輸送（tilted transport）を提案する。このブーストされた後方分布は、明示的なサンプリングのしやすさを保証する。主な貢献は、ブーストされた後方分布が強い対数凸性を示す定量的条件を特定することであり、これはラングジュアン・ダイナミクスによる効率的なサンプリングを保証する。検証は、ガウス混合モデル、イジング模型、スカラー場𝜑⁴模型において実施された。

ABSTRACT

Score-based diffusion models have significantly advanced high-dimensional data generation across various domains, by learning a denoising oracle (or score) from datasets. From a Bayesian perspective, they offer a realistic modeling of data priors and facilitate solving inverse problems through posterior sampling. Although many heuristic methods have been developed recently for this purpose, they lack the quantitative guarantees needed in many scientific applications. In this work, we introduce the extit{tilted transport} technique, which leverages the quadratic structure of the log-likelihood in linear inverse problems in combination with the prior denoising oracle to transform the original posterior sampling problem into a new `boosted' posterior that is provably easier to sample from. We quantify the conditions under which this boosted posterior is strongly log-concave, highlighting the dependencies on the condition number of the measurement matrix and the signal-to-noise ratio. The resulting posterior sampling scheme is shown to reach the computational threshold predicted for sampling Ising models [Kunisky'23] with a direct analysis, and is further validated on high-dimensional Gaussian mixture models and scalar field $φ^4$ models.

研究の動機と目的

• . 科学的応用分野で用いられるヒューリスティックな後方分布サンプリング手法に、定量的保証が欠如しているという問題に取り組む。
• 完全な事前分布ノイズ除去オラクルが利用可能である場合でも、効率的な後方分布サンプリングが可能かどうかを検討する。
• 後方分布サンプリングが証明可能に取り扱えるようになる構造的条件（特に、測定行列の条件数と信号対雑音比）を同定する。
• 拡散モデルによる原理的かつ一貫した事前分布生成と、逆問題における信頼性の高い後方分布サンプリングのギャップを埋める。

提案手法

• . 本手法は、事前分布ノイズ除去オラクルと対数尤度の2次構造を活用し、後方分布を再重み付けする「傾き付き輸送」変換を導入する。
• この変換により、事前分布の感受性と測定モデルに基づく傾きを用いて、新たな後方分布（「ブーストされた後方分布」）を構築する。
• 変分原理を用いてこの変換を導出し、熱半群およびフォッカー・プランクダイナミクスと関連付ける。
• 理論的分析では、バーキー＝エマリー基準を用いて、ブーストされた後方分布の強い対数凸性を満たす十分条件を確立する。
• 導出された条件のもとで、変換後の後方分布上でラングジュアン・ダイナミクスを実装し、収束保証を付与する。
• 初期の強い対数凸性領域を超える適用可能性を拡張するため、繰り返し版の傾き付き輸送を提案するが、近似誤差は制御可能である。

実験結果

リサーチクエスチョン

• RQ1 . 完全な事前分布ノイズ除去オラクルが利用可能な場合、線形逆問題において効率的な後方分布サンプリングが達成可能か？
• RQ2 どのような条件下で後方分布が証明可能な強い対数凸性を示し、ラングジュアン・ダイナミクスによる効率的サンプリングが可能になるか？
• RQ3 測定行列の条件数と信号対雑音比は、後方分布サンプリングの取り扱いやすさにどのように影響を与えるか？
• RQ4 傾き付き輸送技術は、条件数が悪いあるいは非線形な逆問題に、定量的誤差境界を伴って拡張可能か？
• RQ5 事前分布の感受性は、傾き付き輸送変換の有効性にどのような影響を与えるか？

主な発見

• . 傾き付き輸送手法は、測定行列の条件数が有界で、信号対雑音比が十分に高い場合、元の後方分布を強い対数凸性を示す「ブーストされた後方分布」に変換できることを示した。
• イジング模型では、Kunin (2023) が予測した計算の閾値を達成し、標準的統計物理学モデルにおける効率性を検証した。
• 高次元ガウス混合モデル（d = 20, 40, 80）において、あらゆるSNR領域で、ブーストされたラングジュアン・ダイナミクスが標準ラングジュアン・ダイナミクスを著しく上回り、スライスド・ワーサーティンシュタイン距離が低くなった。
• 測定行列の固有値にゼロが存在する場合（d′ < d）であっても、非ゼロ固有値が強化されていれば、この手法は依然として有効であり、ランク不足の測定に対してもロバストであることが示された。
• スカラー場𝜑⁴模型において、傾き付き輸送の下でラングジュアン・ダイナミクスの自己相関関数の減衰が加速され、混合速度が向上し、緩和時間が短くなった。
• 繰り返し版の傾き付き輸送は、初期の後方分布が強い対数凸性を示さない領域でもサンプリングを可能にし、わずかな近似誤差を導入するが、その誤差は定量的に評価可能である。