[論文レビュー] On the Bernstein-Von Mises Theorem for High Dimensional Nonlinear Bayesian Inverse Problems

Yulong Lu|arXiv (Cornell University)|Jun 1, 2017

Statistical Methods and Inference参考文献 27被引用数 12

ひとこと要約

本稿は、小さなノイズの極限における高次元非線形ベイズ逆問題に対して、未知パラメータの数の明確な増加条件の下で、後方分布の漸近的正規性を示すベルンシュタイン＝フォン・ミーゼスの定理を確立する。主な結果は、後方分布が有効推定量を中心とする正規分布に集中することを示しており、全 Variation 距離の収束速度は $\mathcal{O}_p(n^{-1/2}d^3\log d)$ である。これは、次元 $d$ が標本サイズ $n$ に比べて十分にゆっくりと増加する場合に成り立つ。本研究は、古典的な BvM 理論を、不適切に定義された前向きモデルを伴う高次元・非線形逆問題へと拡張するものである。

ABSTRACT

We prove a Bernstein-von Mises theorem for a general class of high dimensional nonlinear Bayesian inverse problems in the vanishing noise limit. We propose a sufficient condition on the growth rate of the number of unknown parameters under which the posterior distribution is asymptotically normal. This growth condition is expressed explicitly in terms of the model dimension, the degree of ill-posedness of the inverse problem and the noise parameter. The theoretical results are applied to a Bayesian estimation of the medium parameter in an elliptic problem.

研究の動機と目的

• 高次元的・非線形的・不適切に定義された設定におけるベイズ逆問題のベルンシュタイン＝フォン・ミーゼス（BvM）定理を確立すること。
• 後方分布が漸近的に正規分布に近づくための、未知パラメータの数の増加率に関する十分条件を導出すること。
• 従来、有限次元またはノンパラメトリックモデルに限られていた古典的 BvM 結果を、ノイズが消える極限における高次元的非線形逆問題へと拡張すること。
• 楕円型偏微分方程式における中間パラメータのベイズ推定への応用を通じて、理論的結果の妥当性を検証すること。

提案手法

• ノイズが消える極限を持つ高次元的非線形ベイズ逆問題の一般クラスを定式化する。
• モデル次元 $d$、ノイズレベル $n^{-1/2}$、および不適切さの度合いを組み合わせた増加条件を導入し、$n^{-1/2}d^3\log d \to 0$ として表現する。
• 後方分布が真のパラメータのまわりに $n^{-1/2}$ の速度で収縮し、全 Variation 距離で正規分布に収束することを確認することで、BvM 定理の枠組みを適用する。
• 対数尤度のヘッシアンの固有値推定と、前向き写像 $G$ に対する安定性バインディングを用いて、後方分布の集中と曲率を制御する。
• パラメータ ベクトル $\mathbf{q}$ に積分型事前分布を導入し、対数密度の導関数が有界で、正則性条件を満たすことで事前分布の整合性を保証する。
• 後方測度が、有効推定量 $\triangle_n$ を中心とし、共分散 $\frac{1}{n}\boldsymbol{\Sigma}$ を持つ正規分布に全 Variation 距離で収束することを示すことにより、後方分布の漸近的正規性を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元的非線形ベイズ逆問題における後方分布が漸近的に正規分布に近づくための、次元 $d$ とノイズレベル $n^{-1/2}$ の条件は何か？
• RQ2 ノイズが小さくなるに従い未知数が増加する非線形的・不適切に定義された逆問題において、古典的ベルンシュタイン＝フォン・ミーゼスの定理を拡張できるか？
• RQ3 後方分布が全 Variation 距離で正規分布に収束するのを許容する、モデル次元 $d$ の正確な増加率は何か？
• RQ4 前向き問題の不適切さの度合いが、BvM 框組みにおけるパラメータ次元の許容可能な増加にどのように影響するか？

主な発見

• 後方分布は、全 Variation 距離で、有効推定量 $\triangle_n$ を中心とし、共分散 $\frac{1}{n}\boldsymbol{\Sigma}$ を持つ正規分布に収束する。ここで $\boldsymbol{\Sigma} = (\nabla G(\mathbf{q}_0)^T \nabla G(\mathbf{q}_0))^{-1}$ である。
• 全 Variation 距離における収束速度は $\mathcal{O}_p(n^{-1/2}d^3\log d)$ で抑えられ、条件 $n^{-1/2}d^3\log d \to 0$ の下で $n \to \infty$ のとき 0 に近づく。
• 増加条件 $n^{-1/2}d^3\log d \to 0$ は、未知数 $d$、ノイズレベル $n^{-1/2}$、および逆問題の不適切さの度合いを明示的に関連づけている。
• 特に、各成分の対数密度がコンパクト集合上で一様にリプシッツ連続であり、その導関数が一様に有界であるという、やや弱い事前分布の正則性仮定のもとで、本結果は成り立つ。
• 楕円型逆問題に関連する前向き写像 $G$ は、必要な正則性および安定性条件を満たしており、一般 BvM 結果の適用が可能である。
• 理論的枠組みにより、次元が十分にゆっくりと増加する限り、高次元的非線形設定におけるベイズ信用区間が、頻度主義の信頼区間と漸近的に同等であることが確認された。