[論文レビュー] Conditional score-based diffusion models for Bayesian inference in infinite dimensions

Lorenzo Baldassari, Ali Siahkoohi+3 more|arXiv (Cornell University)|May 28, 2023

Statistical Methods and Inference被引用数 7

ひとこと要約

本稿は、無限次元関数空間におけるベイズ推論の理論的根拠に基づいた条件付きスコアベース拡散モデル（SDM）を提案し、離散化不変な事後分布サンプリングを可能にする。条件付きノイズ除去推定器を無限次元に拡張することで、前向き演算子の高コストな評価を回避し、大規模な地震画像再構成問題において正確な不確実性の定量化を実現する。

ABSTRACT

Since their initial introduction, score-based diffusion models (SDMs) have been successfully applied to solve a variety of linear inverse problems in finite-dimensional vector spaces due to their ability to efficiently approximate the posterior distribution. However, using SDMs for inverse problems in infinite-dimensional function spaces has only been addressed recently, primarily through methods that learn the unconditional score. While this approach is advantageous for some inverse problems, it is mostly heuristic and involves numerous computationally costly forward operator evaluations during posterior sampling. To address these limitations, we propose a theoretically grounded method for sampling from the posterior of infinite-dimensional Bayesian linear inverse problems based on amortized conditional SDMs. In particular, we prove that one of the most successful approaches for estimating the conditional score in finite dimensions - the conditional denoising estimator - can also be applied in infinite dimensions. A significant part of our analysis is dedicated to demonstrating that extending infinite-dimensional SDMs to the conditional setting requires careful consideration, as the conditional score typically blows up for small times, contrarily to the unconditional score. We conclude by presenting stylized and large-scale numerical examples that validate our approach, offer additional insights, and demonstrate that our method enables large-scale, discretization-invariant Bayesian inference.

研究の動機と目的

• 既存のスコアベース拡散モデルが無限次元ベイズ逆問題に適用される際、無条件スコアに依存し、計算コストが高いために生じる限界を解消すること。
• 無限次元関数空間における条件付きスコア推定の理論的に厳密なフレームワークを構築し、安定性と正確性を保証すること。
• 関数空間における事後分布を直接モデル化することで、大規模かつ離散化不変なベイズ推論を可能にすること。
• 地震画像再構成のような現実的で高次元の逆問題において、正確な不確実性定量化を伴って手法を検証すること。

提案手法

• 本手法は、逆時系列SDEが条件付きスコアを用いる条件付きスコアベース拡散モデル（SDM）を導入し、その条件付きスコアは有限次元における条件付きノイズ除去推定器を無限次元ヒルベルト空間に拡張したものである。
• 条件付きスコアは、観測データを条件とする事後分布の対数密度の勾配として定義され、逆過程が真の事後分布からのサンプルを生成することを保証する。
• 理論的解析により、小さな時間における発散の可能性が存在するものの、無限次元設定においても条件付きスコアが適切に定義され、有界であることが証明されている。
• 低次元のデータ（例えば、随伴ボーン演算子の出力など）を事後分布の平均と不確実性推定値に効率的に写像するために、フーリエニューラルオペレータ（FNO）を活用する。
• 事後分布サンプリングは、時間反転SDEを用いて実行され、ドリフト項は学習済みの条件付きスコアに従うため、高精度なサンプル生成が可能になる。
• 関数空間の離散化は、最終的な推論段階まで延期され、アンドリュー・スターリングの原則に従い、離散化の影響を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 有限次元SDMで成功した条件付きノイズ除去推定器を、無限次元関数空間に理論的に拡張できるか？
• RQ2 特に小さな時間区間において、無限次元設定における条件付きスコアと無条件スコアの挙動にどのような違いが生じるか？
• RQ3 条件付きSDMは、地震画像再構成のような大規模かつ無限次元の逆問題において、正確かつ安定した事後分布サンプリングを達成できるか？
• RQ4 本手法は、実際の再構成誤差や反射面の不連続性などの物理的特徴と整合する信頼性の高い不確実性定量化を提供できるか？

主な発見

• 条件付きスコアベース拡散モデルは、無限次元関数空間において事後分布のサンプルを効果的に生成でき、逆過程が真の事後分布に収束することが確認された。
• サンプリング中に繰り返し前向き演算子の評価を必要としないため、ヒューリスティックな手法と比較して計算コストを著しく削減した。
• 点ごとの標準偏差推定値と再構成誤差の間に強い相関が認められ、本手法の不確実性定量化の正確性が裏付けられた。
• 正規化された不確実性マップは、反射面の開始・終了部および不連続部（例えば断層）付近で高い不確実性を示し、物理的期待と整合的であった。
• 縦断的プロファイルでは、深さが増すにつれて不確実性が増加しており、99％信頼区間は常に真の値を含んでおり、不確実性推定の信頼性が検証された。
• 地震画像再構成実験において、異なるメッシュ解像度でも一貫した性能を示したことで、離散化不変な推論が実現されたことが実証された。