[論文レビュー] Laplace priors and spatial inhomogeneity in Bayesian inverse problems

Sergios Agapiou, Sven Wang|arXiv (Cornell University)|Dec 10, 2021

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、空間的に非一様なパrameterを有するラプラス事前分布に基づくベイズ的逆問題に対して、頻度的後方分布収縮率を確立する。ラプラス事前分布が $B^{\beta}_{11}$-滑らかさクラス上で最小最大最適な収縮率を達成するのに対し、ガウス事前分布はより遅い多項式的劣化率に制限されることを示す。解析は非線形PDEの前向き写像に対して局所リプシッツ条件に依拠し、$\boldsymbol{L}^1$-正則化波ドレット推定器のための新規集中不等式を用いる。これらはラプラス事前分布下でのMAP推定器に対応する。

ABSTRACT

Spatially inhomogeneous functions, which may be smooth in some regions and rough in other regions, are modelled naturally in a Bayesian manner using so-called Besov priors which are given by random wavelet expansions with Laplace-distributed coefficients. This paper studies theoretical guarantees for such prior measures - specifically, we examine their frequentist posterior contraction rates in the setting of non-linear inverse problems with Gaussian white noise. Our results are first derived under a general local Lipschitz assumption on the forward map. We then verify the assumption for two non-linear inverse problems arising from elliptic partial differential equations, the Darcy flow model from geophysics as well as a model for the Schrödinger equation appearing in tomography. In the course of the proofs, we also obtain novel concentration inequalities for penalized least squares estimators with $\ell^1$ wavelet penalty, which have a natural interpretation as maximum a posteriori (MAP) estimators. The true parameter is assumed to belong to some spatially inhomogeneous Besov class $B^α_{11}$, $α>0$. In a setting with direct observations, we complement these upper bounds with a lower bound on the rate of contraction for arbitrary Gaussian priors. An immediate consequence of our results is that while Laplace priors can achieve minimax-optimal rates over $B^α_{11}$-classes, Gaussian priors are limited to a (by a polynomial factor) slower contraction rate. This gives information-theoretical justification for the intuition that Laplace priors are more compatible with $\ell^1$ regularity structure in the underlying parameter.

研究の動機と目的

• 空間的に非一様なパrameterをBesov事前分布でモデル化したベイズ的逆問題の理論的後方分布収縮率を確立すること。
• ガウス白色ノイズを伴う非線形逆問題において、ラプラス分布に従うウェーブレット係数事前分布の性能を分析すること。
• 空間的に非一様なパrameterを回復する際の、$B^{\beta}_{11}$-滑らかさクラスにおけるラプラス事前分布とガウス事前分布の頻度的収縮率を比較すること。
• 楕円型PDEに由来する前向き写像の局所リプシッツ条件を検証すること。これにはDarcy流れとシュレーディンガー方程式が含まれる。
• 新しい集中不等式を$\ell^1$-正則化最小二乗推定器について導出し、ラプラス事前分布下でのMAP推定と関連付けること。

提案手法

• 本研究では、i.i.d. にラプラス分布に従う係数を持つランダムウェーブレット展開によって定義されるBesov事前測度を用い、$B^{\beta}_{11}$-クラスにおける空間的に非一様な関数をモデル化する。
• 非線形PDEに基づく逆問題に適用可能な、前向き写像 $\mathcal{G}$ に対して局所リプシッツ条件を満たす一般枠組みを構築し、後方分布収縮率を分析する。
• ラプラスウェーブレット事前分布下でのMAP推定器に対応する、$\ell^1$-正則化最小二乗推定器のための新しい集中不等式を導出する。
• 定常Darcy流れとトモグラフィーにおけるシュレーディンガー方程式の2つの非線形PDEモデルに対して、局所リプシッツ条件が検証された。
• 理論的解析では、Besov空間のウェーブレット特徴付けと $H^\alpha$ と $B^\beta_{11}$ ノルム間の埋め込み不等式を用いる。
• 直接観測下における任意のガウス事前分布に対する収縮率の下界が導出され、ラプラス事前分布に比べてその本質的限界が示された。

実験結果

リサーチクエスチョン

• RQ1 非線形ベイズ的逆問題において、空間的に非一様なパrameterを有する場合に、ラプラス事前分布が最小最大最適な後方分布収縮率を達成できるか。
• RQ2 $B^\beta_{11}$-滑らかさクラスにおいて、ラプラス事前分布とガウス事前分布の間の理論的性能差（後方分布収縮率の観点）は何か。
• RQ3 ラプラスウェーブレット事前分布を用いる場合、前向き写像 $\mathcal{G}$ に対してどのような条件下で後方分布が最適速度で収縮するか。
• RQ4 $\ell^1$-正則化最小二乗推定器（ラプラス事前分布下でのMAP推定器として解釈される）は、高次元ウェーブレット空間において真のパラメータのまわりにどのように集中するか。
• RQ5 空間的非一様性が存在する状況において、ガウス事前分布がどの程度最適レートに到達できないか、そしてその理由は何か。

主な発見

• ラプラス事前分布は、$\beta > 0$ が十分に大きい場合、$B^{\beta}_{11}$-滑らかさクラス上で最小最大最適な後方分布収縮率を達成する。
• ガウス事前分布は、直接観測下でも最小最大最適レートより（多項式的要因によって）遅い収縮率に制限される。
• Darcy流れとシュレーディンガー方程式の両モデルに対して、前向き写像 $\mathcal{G}$ の局所リプシッツ条件が検証され、一般収縮率理論の適用が可能となった。
• 新しい$\ell^1$-正則化最小二乗推定器のための集中不等式が確立され、ラプラス事前分布下でのMAP推定器の理論的基盤が提供された。
• 情報理論的根拠として、ラプラス事前分布がパrameter空間における$\ell^1$-正則性構造に対してガウス事前分布よりも適合性が高いかが示された。
• 解析により、パラメータ空間における空間的非一様性を捉えるために、事前分布の選択が極めて重要であることが明らかになった。特に、ラプラス事前分布は混合滑らかさと不連続性を持つ関数をモデル化するのに特に適している。