[論文レビュー] Bernstein - von Mises Theorem for growing parameter dimension

Vladimir Spokoiny|arXiv (Cornell University)|Feb 14, 2013

Advanced Topology and Set Theory参考文献 2被引用数 28

ひとこと要約

本稿は、次元 $ p $ が増大するパラメトリックモデルに対して、非漸近的かつロバストなベルヌーイ・フォン・ミーゼス（BvM）定理を確立する。条件 $ p^3/n \to 0 $ の下で、事後分布が最尤推定量（MLE）の周囲で平均をとり、フィッシャー情報量の逆数と一致する分散の正規分布に近づくことを示す。結果はモデル不適合や有限標本に対しても成り立ち、誤差項の明示的制御を可能にする、ランダムフィールドの最大値に関する新規な評価を用いる。

ABSTRACT

This paper revisits the prominent Fisher, Wilks, and Bernstein -- von Mises (BvM) results from different viewpoints. Particular issues to address are: nonasymptotic framework with just one finite sample, possible model misspecification, and a large parameter dimension. In particular, in the case of an i.i.d. sample, the mentioned results can be stated for any smooth parametric family provided that the dimension \(p \) of the parameter space satisfies the condition "\(p^{2}/n \) is small" for the Fisher expansion, while the Wilks and the BvM results require "\(p^{3}/n \) is small".

研究の動機と目的

• 高次元パラメトリックモデルにおける有限標本・モデル不適合に強い BvM 結果の不足を補う。
• パラメータ次元 $ p $ が標本サイズ $ n $ と共に増大する場合に、事後分布が近似的に正規分布に近づく条件を確立する。
• 弱収束や中心極限定理に依存しない、事後分布の正規近似に対する明示的・非漸近的誤差境界を提供する。
• 古典的 BvM 結果を固定次元の漸近的枠組みから逸脱し、中程度または小標本かつ大 $ p $ の状況に拡張する。ブレケットリング技術の精緻化を用いる。
• BvM の正当化において、対数尤度の局所的2次近似と大偏差境界の中心的役割を明確にする。中心極限定理に依存しない。

提案手法

• 既存の研究（SP2011）におけるブレケットティング手法を改善する、ベクトル値ランダムフィールドの最大値に関する新規な評価を提案し、誤差項のよりきびしい制御を可能にする。
• この評価を応用して、有限標本に対して有効な MLE および対数尤度超過の非漸近的展開を導出する。
• MLE の周囲における対数尤度の局所的2次近似を用い、BvM がこの近似と尾部確率の境界にのみ依存することを示す。
• 非情報的および正則な事前分布の両方を検討し、事後分布の平均が MLE をよく近似し、分散がフィッシャー情報量の逆数を推定することを示す。
• $ n $ と $ p $ の関数として明示的な誤差境界を導出し、$ p^3/n \to 0 $ のとき BvM 近似が成り立つことを示す。フィッシャー展開には $ p^2/n \to 0 $ が十分。
• 古典的弱収束や中心極限定理の仮定を避ける、確率的 LAN 型条件に依存することで、モデル不適合に対してもロバストな結果を得る。

実験結果

リサーチクエスチョン

• RQ1 有限標本かつ増大する $ p $ の下で、ベルヌーイ・フォン・ミーゼス定理が成立するための臨界なパラメータ次元 $ p $ は何か？
• RQ2 特に高次元・モデル不適合状況において、漸近的正規性や弱収束に依存せずに BvM 現象を正当化できるか？
• RQ3 事後分布の正規近似における誤差項は、標本サイズ $ n $ と次元 $ p $ にどのように依存するか？ また、それらを明示的に境界化できるか？
• RQ4 高次元設定において、事後分布の平均が MLE を近似し、分散がフィッシャー情報量の逆数を近似する条件は何か？
• RQ5 古典的 BvM 結果を、非 i.i.d. またはモデル不適合状況の有限標本に、非漸近的かつ中心極限定理に依存しない手法で拡張できるか？

主な発見

• 条件 $ p^3/n \to 0 $ およびやや弱い正則性・局所的2次性の下で、有限標本かつ増大するパrameter次元 $ p $ の下でベルヌーイ・フォン・ミーゼス定理が成立する。
• モデル不適合下でも、事後分布は MLE の周囲で平均をとり、フィッシャー情報量の逆数と近い分散の正規分布に近づく。
• 事後分布の正規近似に対する明示的誤差境界を導出し、誤差が $ O(p^3/n) $ のオーダーで減少することを示し、既存の結果を改善する。
• MLE の一貫性は $ p/n \to 0 $ の弱い条件下で成り立ち、MLE のフィッシャー展開は $ p^2/n \to 0 $ の下で有効である。これにより、条件の階層が明確になる。
• BvM 結果は、対数尤度の局所的2次近似と大偏差境界にのみ依存する。中心極限定理や弱収束の仮定は不要である。
• 事後モーメント（平均および共分散）を用いて、信頼性の高い楕円型信用区間を構築可能であり、事後平均は MLE のロバスト推定量として機能する。