[論文レビュー] On log-concave approximations of high-dimensional posterior measures and stability properties in non-linear inverse problems

Jan Bohr, Richard Nickl|arXiv (Cornell University)|May 17, 2021

Geochemistry and Geologic Mapping被引用数 6

ひとこと要約

本稿では、非線形逆問題における高次元的・非対数凸的事後測度が、Wasserstein距離において対数凸的測度で近似可能となる条件を確立する。これらの条件下では、勾配ベースのサンプリングアルゴリズム（例：未調整ランジュバンモンテカルロ）が「温かい初期化」のもとで多項式時間収束を達成でき、非アーベルX線変換を含む挑戦的なPDE駆動モデルにおける効率的なベイズ推論を可能にする。

ABSTRACT

The problem of efficiently generating random samples from high-dimensional and non-log-concave posterior measures arising from nonlinear regression problems is considered. Extending investigations from arXiv:2009.05298, local and global stability properties of the model are identified under which such posterior distributions can be approximated in Wasserstein distance by suitable log-concave measures. This allows the use of fast gradient based sampling algorithms, for which convergence guarantees are established that scale polynomially in all relevant quantities (assuming `warm' initialisation). The scope of the general theory is illustrated in a non-linear inverse problem from integral geometry for which new stability results are derived.

研究の動機と目的

• 非線形逆問題に由来する高次元的・非対数凸的事後分布からのサンプリングという計算的課題に対処すること。
• 事後分布を対数凸的測度で近似可能とするために必要な、前向きモデルの局所的および大域的安定性条件を同定すること。
• 高次元的・非対数凸的設定下で勾配ベースのサンプリングアルゴリズム（例：ULA）の多項式時間収束保証を確立すること。
• 近似理論を活用して、対数凸的事後分布に限らない高速サンプリング手法の適用範囲を拡張すること。
• 非アーベルX線変換—非線形逆問題の主要クラス—に対する新たな安定性推定を導出すること。

提案手法

• 前向きマップと尤度関数に解析的仮定を置くことで、Wasserstein距離における事後測度に対する一般化された対数凸的近似定理を提案する。
• Zernike多項式スケールとソボレフ型空間を用いた関数解析的枠組みを用いて、前向き作用素の正則性を特徴付ける。
• X線変換およびその線形化の写像性質を適用し、$L^2$および$L^rown$ノルムにおける安定性推定を導出する。
• 「温かい初期化」を仮定したもとで、次元$D$、標本サイズ$N$、逆精度$rown^{-1}$に多項式的にスケーリングする収束保証を有する未調整ランジュバンアルゴリズム（ULA）を採用する。
• 真の事後分布下での対数尤度の1次および2次モーメント、およびその勾配の境界を確立し、近似誤差の制御を可能にする。
• 三角不等式推定と積分作用素（例：$I_rown$, $I_rown$）の作用素ノルム境界を組み合わせ、完全モデルと切断モデルの差を制御する。

実験結果

リサーチクエスチョン

• RQ1 高次元的非線形逆問題における非対数凸的事後測度が、Wasserstein距離において対数凸的測度で近似可能となる前向きモデルの条件は何か？
• RQ2 勾配ベースのサンプリングアルゴリズムは、高次元的・非対数凸的事後分布においてどのようにして多項式時間収束を達成できるか？
• RQ3 非アーベル設定において対数凸的近似定理が適用可能となるために、X線変換に必要な安定性特性は何か？
• RQ4 真の事後分布下での対数尤度のモーメントおよびその導関数はどのように振る舞い、サンプリング収束にどのように影響するか？
• RQ5 次元および標本サイズに関して一様に、真の事後分布とその対数凸的補完との間の近似誤差を境界づけられるか？

主な発見

• 前向きモデルが局所的および大域的安定性条件を満たす限り、データ分布のもとで高確率に、事後測度$rown( heta|Z^{(N)})$がWasserstein距離において対数凸的測度で近似可能である。
• これらの条件下で、未調整ランジュバンアルゴリズム（ULA）は、次元$D$、標本サイズ$N$、精度$rown^{-1}$に多項式的にスケーリングする混合時間バウンドを達成し、精度$rown$に対して$O(N^{b_1}D^{b_2}rown^{-b_3})$回の反復で収束する。
• 本手法は非アーベルX線変換問題に適用可能であり、Zernike多項式スケールにおいてX線変換およびその線形化に関する新たな安定性推定が得られる。
• $rown o 0$のとき、完全なと切断されたX線変換の差の$L^2$ノルムは$O(rown D^{-2})$で有界であり、近似の制御が保証される。
• 真の事後分布下での対数尤度の勾配およびヘッセ行列は、期待値において一様に有界であり、$D$に多項式的要因を除き、その依存性は独立である。
• 線形化されたX線変換およびその随伴作用素の作用素ノルムは、$L^rown$および$L^2$位相において一様に有界であり、ヘッセ項における近似誤差の制御が可能になる。