[論文レビュー] Semiparametric posterior limits under local asymptotic exponentiality

B. J. K. Kleijn, Bartek Knapik|arXiv (Cornell University)|Oct 23, 2012

Statistical Methods and Inference参考文献 43被引用数 12

ひとこと要約

本稿は、局所的漸近的指数性（LAE）の下で、密度関数の不連続点を推定する半パラメトリックベイズ推論におけるベルンシュタイン＝フォン・ミーゼスの漸近的理論を確立する。後騒分布が指数分布の極限に集中することを示し、不連続点の推定において、最小最大リスクを達成するベイズ点推定量が得られることを示している。これは、ジャンプ不連続性を有する不規則なモデルにおいて、非効率な頻度的最尤推定量を上回る。

ABSTRACT

Consider semiparametric models that display local asymptotic exponentiality (Ibragimov and Has'minskii (1981)), an asymptotic property of the likelihood associated with discontinuities of densities. Our interest goes to estimation of the location of such discontinuities while other aspects of the density form a nuisance parameter. It is shown that under certain conditions on model and prior, the posterior distribution displays Bernstein-von Mises-type asymptotic behaviour, with exponential distributions as the limiting sequence. In contrast to regular settings, the maximum likelihood estimator is inefficient under this form of irregularity. However, Bayesian point estimators based on the limiting posterior distribution attain the minimax risk. Therefore, the limiting behaviour of the posterior is used to advocate efficiency of Bayesian point estimation rather than compare it to frequentist estimation procedures based on the maximum likelihood estimator. Results are applied to semiparametric LAE location and scaling examples.

研究の動機と目的

• 密度関数の不連続性に起因する不規則な尤度関数を有する半パラメトリックモデルにおいて、ベイズ推定量の漸近的頻度的最適性を確立すること。
• ジャンプ不連続性に起因する不規則性の一種たる局所的漸近的指数性（LAE）を示すモデルにおける後騒分布の極限的挙動を分析すること。
• やや緩い正則性および事前分布の条件下で、後騒分布が指数分布に収束することを示し、効率的な点推定を可能にすること。
• 制限された後騒分布に基づくベイズ推定量が、最尤推定量が非効率である場合でも最小最大リスクに達することを示すこと。
• 漸近的正規性のための正則性条件が成立しない不規則な半パラメトリックモデルへのベルンシュタイン＝フォン・ミーゼス理論の拡張すること。

提案手法

• 著者らは、尤度関数が局所的漸近的指数性（LAE）を示す半パラメトリックモデルを分析する。LAEは密度関数の不連続性に関連する性質である。
• ブラウン運動と正接逆変換に基づく構成を用いて、真のパrameterを含む事前分布のサポートを保証する事前分布のもとで、極限後騒分布を導出する。
• 主な技術的手段として、極限実験における収束条件を検証するため、真の密度関数と摂動された密度関数との間のヘリンジャ距離を評価する。
• 密度関数およびその平方根の絶対連続性に依拠し、局所的摂動における尤度の差を制御する。
• 著者らは、レ・カムとヤン（1990年）およびイブライゴフとハシミンスキー（1981年）の一般枠組みを応用して、極限後騒分布を導出する。
• 真のパrameterの近傍における尤度比および事前確率の振る舞いを制御することで、LAE設定におけるベルンシュタイン＝フォン・ミーゼス定理の条件を検証する。

実験結果

リサーチクエスチョン

• RQ1 密度関数の不連続性を有する半パラメトリックモデルにおいて、後騒分布が指数分布に収束する条件は何か？
• RQ2 局所的漸近的指数性を示すモデルにおいて、後騒分布の漸近的挙動は最尤推定量のそれとどのように比較されるか？
• RQ3 制限された後騒分布に基づくベイズ点推定量は、不規則な半パラメトリックモデルで最小最大リスクに達するか？
• RQ4 どのような事前分布の条件が、LAE設定における真のパrameterの周囲に後騁分布が集中することを保証するか？
• RQ5 漸近的正規性のための正則性条件が成立しないモデルへ、ベルンシュタイン＝フォン・ミーゼス定理をどの程度まで拡張できるか？

主な発見

• やや緩い正則性および事前分布の条件下で、後騒分布は全 Variation 収束により、$ n heta $ をレートとする負の指数分布に収束し、その定義域は $ (-ty, X_{(1)}] $ に制限される。
• 最尤推定量 $ ilde{ heta}_n = X_{(1)} - 1/(n heta) $ は、後騒分布の期待値から得られ、二乗リスクが $ 1/ heta^2 $ に達する。これは最小最大下界と一致する。
• 頻度的最尤推定量は非効率的であり、二乗リスクが $ 2/ heta^2 $ に達するが、制限後騒分布に基づくベイズ推定量は最小最大リスクに達する。
• 極限後騒分布は正規分布ではなく指数分布であるため、LAE下でベルンシュタイン＝フォン・ミーゼス定理が非正規形で成立することが示唆される。
• ブラウン運動に基づく事前分布の構成により、事前分布のサポートが真のパrameter空間を含むことが保証され、これは後騒分布の一貫性にとって不可欠である。
• 真の密度関数と摂動された密度関数との間のヘリンジャ距離は $ O(1/n) $ で有界であることが確認され、LAEフレームワークにおける局所的漸近的正規性が裏付けられる。