[論文レビュー] Accuracy of Gaussian approximation in nonparametric Bernstein -- von Mises Theorem

Vladimir Spokoiny, Maxim Panov|arXiv (Cornell University)|Oct 14, 2019

Control Systems and Identification参考文献 19被引用数 6

ひとこと要約

本稿は、ガウスノイズを伴う非パラメトリックベイズモデルにおける事後分布の集中具合とガウス近似の精度について、漸近的でない境界を確立する。弱い正則性条件のもとで、事後分布は罰則付き最尤推定量（pMLE）を中心とするガウス分布でよく近似され、中心対称な信用区間に制限した場合、誤差境界が $ n^{-1} $ のオーダーとなる。これにより、pMLEの一致性を通じて、ベイズ信用区間と頻度主義的信頼区間を結びつける。

ABSTRACT

The prominent Bernstein -- von Mises (BvM) result claims that the posterior distribution after centering by the efficient estimator and standardizing by the square root of the total Fisher information is nearly standard normal. In particular, the prior completely washes out from the asymptotic posterior distribution. This fact is fundamental and justifies the Bayes approach from the frequentist viewpoint. In the nonparametric setup the situation changes dramatically and the impact of prior becomes essential even for the contraction of the posterior; see [vdV2008], [Bo2011], [CaNi2013,CaNi2014] for different models like Gaussian regression or i.i.d. model in different weak topologies. This paper offers another non-asymptotic approach to studying the behavior of the posterior for a special but rather popular and useful class of statistical models and for Gaussian priors. First we derive tight finite sample bounds on posterior contraction in terms of the so called effective dimension of the parameter space. Our main results describe the accuracy of Gaussian approximation of the posterior. In particular, we show that restricting to the class of all centrally symmetric credible sets around pMLE allows to get Gaussian approximation up to order (n^{-1}). We also show that the posterior distribution mimics well the distribution of the penalized maximum likelihood estimator (pMLE) and reduce the question of reliability of credible sets to consistency of the pMLE-based confidence sets. The obtained results are specified for nonparametric log-density estimation and generalized regression.

研究の動機と目的

• 高次元または無限次元のパrameter空間では、事前分布が事後分布の集中に顕著に影響を与えるため、古典的 Bernstein-von Mises（BvM）定理が破綻する問題に対処すること。
• パrameter空間の有効次元を用いて、事後分布の集中具合とガウス近似誤差の漸近的でない境界を提供すること。
• 罰則付き最尤推定量（pMLE）の一致性と関連づけることで、ベイズ信用区間を頻度主義的信頼区間として信頼できるものとする条件を確立すること。
• 特に、pMLEのまわりの中心対称な信用区間に制限した場合の、事後分布のガウス近似の精度を分析すること。

提案手法

• 事前分布下でのフィッシャー情報行列 $ \mathbb{F}_G $ を用いて、有効次元 $ p_G(\theta) = \mathrm{tr}(H^2 \mathbb{F}_G^{-1}(\theta)) $ を用いた、有限標本における事後分布集中の境界を導出する。
• 対数尤度の線形確率的成分と期待対数尤度の凹性を保証する条件を導入し、ガウス回帰、対数密度推定、一般化線形モデルなどのモデルで成立する。
• ガウス事前分布が誘導する2次罰則を伴うpMLEを事後分布のモードとして定義し、事後分布がpMLEの標本分布を模倣することを示す。
• ガウス近似の精度を全 Variation 距離を用いて測定し、その境界が有効次元および対数尤度の高階微分に依存することを示す。
• 信用区間をpMLEのまわりの中心対称領域に制限することで、ガウス近似誤差が $ O(n^{-1}) $ にまで改善され、一般の境界よりも著しく良好になることを確立する。
• 2つの主要な事前分布（切断事前分布（低次元部分空間上にサポートを持つ）および滑らかさ事前分布（固有値の減衰を伴う））に応用し、切断事前分布では $ p_G \asymp m $、滑らかさ事前分布では有効次元が制御された成長を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックモデルにおいてガウス事前分布を用いる場合、どのような条件下で事後分布が誤差 $ O(n^{-1}) $ のガウス近似を受けるか？
• RQ2 有効次元 $ p_G(\theta) $ は、事後分布の集中具合とガウス近似の精度をどのように制御するか？
• RQ3 ベイズ信用区間を信頼できる頻度主義的信頼区間として使用できるか、その条件は何か？
• RQ4 高次元または非パラメトリックモデルでは、事前分布が事後分布にどの程度影響を与えるか。その影響はどのように定量化できるか？

主な発見

• 中心対称な信用区間に制限した場合、事後分布は罰則付き最尤推定量（pMLE）を中心とするガウス分布で、全 Variation 距離誤差が $ O(n^{-1}) $ で有界に近似される。
• 有効次元 $ p_G(\theta) = \mathrm{tr}(H^2 \mathbb{F}_G^{-1}(\theta)) $ が、事後分布の集中速度とガウス近似の精度を制御する。
• 切断事前分布（$ \dim(\mathbb{V}_m) = m $）では、$ p_G(\theta) \leq m $ であり、事前分散 $ g_m^2 \ll n $ のとき $ p_G(\theta) \asymp m $ となる。
• 滑らかさ事前分布では、有効次元は $ m $ に対してゆっくりと増加し、事前分布精度演算子の固有値の減衰に依存する。
• 事後分布はpMLEの標本分布を模倣するため、信用区間の信頼性はpMLEに基づく信頼区間の一致性に帰着する。
• 線形性と期待対数尤度の凹性という弱い正則性条件のもとで、ガウス回帰、対数密度推定、一般化線形モデルなどのモデルで成立する。