[論文レビュー] A General Bernstein--von Mises Theorem in semiparametric models

Ismaël Castillo, Judith Rousseau|arXiv (Cornell University)|May 20, 2013

Statistical Methods and Inference被引用数 14

ひとこと要約

本稿は、i.i.d.および非i.i.i.d.設定において、一般化された半パラメトリック機能的量に対する Bernstein--von Mises 定理を確立し、複雑なモデルにおけるベイズ推論の基礎的漸近的妥当性を提供する。半パラメトリックバイアスを扱うための新しいツールを導入し、特に低正則性下での非線形機能的量に対して有効である。また、ガウス・ホワイトノイズ、ランダムヒストグラムおよびガウス過程事前分布を用いた密度推定、自己回帰モデルといった主要なモデルに対して BvM 結果を導出する。

ABSTRACT

A Bernstein-von Mises theorem is derived for general semiparametric functionals. The result is applied to a variety of semiparametric problems in i.i.d. and non-i.i.d. situations. In particular, new tools are developed to handle semiparametric bias, in particular for nonlinear functionals and in cases where regularity is possibly low. Examples include the squared $L^2$-norm in Gaussian white noise, nonlinear functionals in density estimation, as well as functionals in autoregressive models. For density estimation, a systematic study of BvM results for two important classes of priors is provided, namely random histograms and Gaussian process priors.

研究の動機と目的

• 正則パラメトリックモデルを超えた一般化された半パラメトリック機能的量への Bernstein--von Mises 定理の拡張。
• 特に非線形機能的量および低正則性設定下での半パラメトリックバイアスに起因するベイズ推論の漸近的課題への対処。
• 密度推定における2つの主要な事前分布クラス（ランダムヒストグラムおよびガウス過程事前分布）の BvM 結果の体系的分析。
• 自己回帰過程やガウス・ホワイトノイズといった複雑なモデルにおける機能的量の後部分布の集中と漸近正規性の妥当性の確立。
• 半パラメトリックモデルにおける曲率、バイアス、および後部分布集中の相互作用を扱う理論的ツールの開発。

提案手法

• 弱い正則性条件の下で、i.i.i.d.および非i.i.i.d.のサンプリング方式に適用可能な一般化 BvM 定理を導出する。
• 局所漸近正規性とスコアに基づく展開を用いて、非線形機能的量の半パラメトリックバイアスを定量化・制御するための新規フレームワークを導入する。
• 理論を具体的なモデルに適用：ガウス・ホワイトノイズにおける $L^2$-ノルムの二乗、密度推定における非線形機能的量、自己回帰モデルにおける機能的量。
• 正則性および収束仮定を満たすために、経験過程理論とエントロピー条件を用いる。
• ランダムヒストグラムおよびガウス過程事前分布の下での後部分布の挙動を分析し、半パラメトリック設定下での頻度的妥当性を示す。
• 後部分布の機能的量が、有効推定量を中心とする正規分布に収束することを確立し、その分散はフィッシャー情報量の逆数に等しい。

実験結果

リサーチクエスチョン

• RQ1 一般モデルにおける半パラメトリック機能的量の後部分布が、どのような条件下で Bernstein--von Mises 定理を満たすか？
• RQ2 非線形機能的量のベイズ推論において、特に低正則性下で、半パラメトリックバイアスを体系的に制御する方法は何か？
• RQ3 自己回帰モデルおよびガウス・ホワイトノイズモデルにおける機能的量の後部分布の頻度的性質は何か？
• RQ4 ランダムヒストグラムおよびガウス過程事前分布は、一般条件下で密度推定において有効な BvM 型漸近的性質をもたらすか？
• RQ5 一般化 BvM 定理は、非i.i.i.d.および非正則な半パラメトリックモデルに拡張可能か？

主な発見

• 弱い正則性および局所漸近正規性の条件下で、半パラメトリック機能的量に対して一般化された Bernstein--von Mises 定理が成立する。
• 機能的量の後部分布は、有効推定量を中心とし、漸近分散がフィッシャー情報量の逆数に等しい正規分布に収束する。
• 非線形機能的量のバイアスを制御するための新しいツールが開発され、特に低正則性設定下で、従来の手法が失敗する場面でも BvM 結果が得られる。
• 密度推定において、適切な滑らかさおよびエントロピー条件の下で、ランダムヒストグラムおよびガウス過程事前分布の両方に対して BvM 定理が確立される。
• 結果は、$L^2$-ノルム機能的量を伴うガウス・ホワイトノイズモデルや、非線形機能的量を含む自己回帰モデルを含む広範なモデルクラスに適用可能である。
• フレームワークにより、機能的量の後部信用区間が、弱い正則性条件下で漸近的に有効な頻度的信頼区間となることが保証される。