[論文レビュー] Wilks Theorem for penalized maximum likelihood estimators

Vladimir Spokoiny|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Inference参考文献 15被引用数 1

ひとこと要約

この論文は、2次罰則を伴う罰則付き最尤推定器へのウィルクスの定理の拡張を試み、パラメータ次元 p が増大または無限大であっても、有効次元 ps が ps/n ≈ 0 を満たす限り、漸近的カイ二乗分布の結果が成立することを示している。主な貢献は、p ではなく有効次元 ps に依存する誤差バインドの導出であり、弱い正則性条件のもとで高次元設定における有効な推論を可能にしている。

ABSTRACT

This paper extends the famous statistical results like Fisher Theorem and Wilks phenomenon to the penalized maximum likelihood estimation with a quadratic penalization. Spokoiny (2013a) offered a novel approach which allows to study the properties of the quasi maximum likelihood estimators for finite samples and possible model misspecification. The results from Spokoiny (2013a) also apply for a growing parameter dimension p , however under the constraint “ p/n is small”, where n is the sample size. This paper shows that in the case of the penalized maximum likelihood estimation, the results can be applied to arbitrarily large or even infinite dimension p of the parameter space. The error bounds depend on the so called effective dimension ps which can be much smaller than the true dimension p of the parameter space. We particularly show for the i.i.d. case that the results apply under the condition “ p s /n is small”. AMS 2000 Subject Classification: Primary 62F10. Secondary 62J12,62F25,62H12

研究の動機と目的

• 古典的ウィルクスの定理を2次罰則を伴う罰則付き最尤推定器へ拡張すること。
• p/n が大きいか無限大である高次元設定における準最尤推定器の漸近的分布的結果を確立すること。
• 誤差バインドが真の次元 p よりも有効次元 ps に依存することを示すこと。
• 弱い正則性条件の下で、成長するか無限大の次元を持つパrameter空間を許容するように、スポコインスキー（2013a）の枠組みを一般化すること。
• 罰則付き尤度法を用いた高次元モデルにおける推論の理論的裏付けを提供すること。

提案手法

• 有限標本における準最尤推定の分析に用いられるスポコインスキー（2013a）の枠組みを、罰則付き尤度推定に適応すること。
• 罰則処理後のモデルの複雑さを定量化する有効次元 ps の概念を導入すること。
• 2次罰則を用いて尤度を正則化し、モデルの複雑さを制御すること。
• ps/n → 0 の条件下で、集中不等式および漸近正規性の結果を導出すること。
• i.i.d. サンプリングの状況に応用し、分布収束を確立すること。
• 罰則付き対数尤度比統計量が、有効次元に等しい自由度のカイ二乗分布に漸近的に従うことを確立すること。

実験結果

リサーチクエスチョン

• RQ1 2次罰則を伴う罰則付き最尤推定器に対して、ウィルクスの現象を拡張できるか？
• RQ2 高次元設定において、罰則付き対数尤度比統計量がどのような条件下でカイ二乗分布に収束するか？
• RQ3 有効次元 ps が推定器の誤差バインドおよび漸近的分布にどのように影響するか？
• RQ4 真のパrameter次元 p が増大または無限大であっても、ps/n が小さい限り推論が有効であるか？
• RQ5 罰則構造は、モデルの不適合性および有限標本の妥当性をどの程度許容できるか？

主な発見

• 真の次元 p が大きくまたは無限大であっても、罰則付き最尤推定器は、対数尤度比統計量に関してウィルクス型の漸近的カイ二乗分布を示す。
• 漸近的分布は真の次元 p よりも有効次元 ps に依存しており、これは顕著に小さい場合がある。
• 誤差バインドは ps に基づいて導出され、ps/n → 0 の条件下で有効性が保証される。
• 結果はスポコインスキー（2013a）の枠組みを高次元モデルへ拡張し、モデル不適合の下での推論を可能にする。
• i.i.d. の場合が、ps/n が小さいとき、漸近的結果が成り立つために必要な正則性条件を満たすことが示された。