[論文レビュー] Semiparametric Bernstein-von Mises Theorem: Second Order Studies

Yun Yang, Guang Cheng+1 more|arXiv (Cornell University)|Mar 16, 2015

Statistical Methods and Inference参考文献 28被引用数 5

ひとこと要約

本稿は、第二階層の半パラメトリック Bernstein-von Mises 定理を確立し、ノイズ関数のベイズ推定の精度が高くなるほど、パラメトリック成分における頻度的推論の正確性が向上することを示している。また、第二階層の頻度的妥当性と非パラメトリック成分の滑らかさへの適応性を保証する、新たな従属事前分布のクラスを導入しており、弱い正則性仮定のもとで失敗する可能性がある標準的な独立事前分布に比べて優れている。

ABSTRACT

The major goal of this paper is to study the second order frequentist properties of the marginal posterior distribution of the parametric component in semiparametric Bayesian models, in particular, a second order semiparametric Bernstein-von Mises (BvM) Theorem. Our first contribution is to discover an interesting interference phenomenon between Bayesian estimation and frequentist inferential accuracy: more accurate Bayesian estimation on the nuisance function leads to higher frequentist inferential accuracy on the parametric component. As the second contribution, we propose a new class of dependent priors under which Bayesian inference procedures for the parametric component are not only efficient but also adaptive (w.r.t. the smoothness of nonparametric component) up to the second order frequentist validity. However, commonly used independent priors may even fail to produce a desirable root-n contraction rate for the parametric component in this adaptive case unless some stringent assumption is imposed. Three important classes of semiparametric models are examined, and extensive simulations are also provided.

研究の動機と目的

• 半パラメトリックベイズモデルにおける周辺事後分布の第二階層頻度的性質を研究すること。
• ノイズ関数のベイズ推定の精度とパラメトリック成分における頻度的推論の正確性の間の相互作用を理解すること。
• 第二階層頻度的妥当性と非パラメトリック成分の滑らかさへの適応性を保証する、新たな従属事前分布のクラスを構築すること。
• 独立事前分布が厳密な仮定なしでは、パラメトリック成分の root-n 収縮率を達成できない理由を示すこと。
• 3つの重要な半パラメトリックモデルと広範なシミュレーションを通じて理論的結果を検証すること。

提案手法

• 第二階層の尤度比対数の展開を導出し、半パラメトリック BvM 定理における剰余項を特徴づける。
• 経験過程理論とエントロピーの上限を用いて、局所化されたパrameter空間上での有効スコア関数の確率的揺らぎを制御する。
• 再帰的核ヒルベルト空間（RKHS）構造を介して真の関数の滑らかさに一致する、新たな従属事前分布のクラスを導入する。
• テイラー展開と中心極限定理を用いて、有効推定量回りの事後分布の集中を近似する。
• 周辺事後分布と正規極限との間の全 Variation 範囲における収束を確立し、剰余項が $ O_P( ho_n^2 ho_n) $ のオーダーとなることを示す。ここで $ ho_n $ はノイズ関数の事後収縮率である。
• 特に条件付き $ L_2 $-ノルムのカバー・エントロピーとスコア関数の有界変動性を活用して、(A1)–(A6) の条件を検証する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックノイズ関数のベイズ推定の正確性が、パラメトリック成分における頻度的推論の妥当性にどのように影響するか？
• RQ2 第二階層頻度的妥当性と非パラメトリック成分の滑らかさへの適応性を保証する、従属事前分布のクラスを構築できるか？
• RQ3 一般的に用いられる独立事前分布が、強い仮定なしではなぜパラメトリック成分の root-n 収縮率を達成できないのか？
• RQ4 半パラメトリック Bernstein-von Mises 定理における剰余項の減衰速度は何か？また、ノイズ関数の事後収縮率とどのように関係するか？
• RQ5 理論的結果が、部分線形モデルや現在状態 Cox モデルなどの異なる半パラメトリックモデルにどの程度一般化可能か？

主な発見

• 半パラメトリック BvM 定理における第二階層の剰余項は、$ O_{P}( ho_n^2 ho_n) $ のオーダー（対数要因を除く）であり、ここで $ ho_n $ はノイズ関数の事後収縮率である。
• 干渉現象が確立された：ノイズ関数のベイズ推定の精度が向上すると、パラメトリック成分における頻度的推論の正確性が向上する。
• 提案された従属事前分布のクラスは、独立事前分布が弱い正則性条件下で失敗する場合でも、第二階層頻度的妥当性と非パラメトリック成分の滑らかさへの適応性を達成する。
• 部分線形モデルでは、適切なガウス過程事前分布を用いることで、事後収縮率 $ ho_n = n^{-rac{eta}{2eta + d}} ( ext{log} hinspace n)^{rac{1}{2}} $ が、ほぼミニマックス最適に近い。
• パラメトリック成分の信用区間は、$ ho_n $ によって決定される第二階層頻度的妥当性を達成しており、非パラメトリック推定の正確さの重要性を裏付けている。
• 現在状態 Cox モデルや部分線形モデルを含む3つの主要な半パラメトリックモデルにおける広範なシミュレーションを通じて、理論的結果が検証された。