[論文レビュー] Roughness penalty, Wilks Phenomenon, and Bernstein - von Mises Theorem

Vladimir Spokoiny|arXiv (Cornell University)|May 2, 2012

Statistical Methods and Inference被引用数 1

ひとこと要約

この論文は、2次罰則を伴う罰則付き最尤推定に Fisher の定理と Wilks 現象を拡張し、漸近的近似に依存せずに罰則付き MLE および尤度比の鋭い展開を導出できることを示している。主な結果は、推定誤差が真のパrameter次元よりも著しく小さい場合がある有効次元 $p_G$ に依存することを示している。これは無限次元設定でも成立する。

ABSTRACT

This paper extends some prominent statistical results including \emph{Fisher Theorem and Wilks phenomenon} to the penalized maximum likelihood estimation with a quadratic penalization. It appears that sharp expansions for the penalized MLE \( ilde{ hetav}_{G} \) and for the penalized maximum likelihood can be obtained without involving any asymptotic arguments, the results only rely on smoothness and regularity properties of the of the considered log-likelihood function. The error of estimation is specified in terms of the effective dimension \(p_G \) of the parameter set which can be much smaller than the true parameter dimension and even allows an infinite dimensional functional parameter. In the i.i.d. case, the Fisher expansion for the penalized MLE can be established under the constraint \(p_G^{2}/n\) is small while the remainder in the Wilks result is of order \(p_G^{3}/n \).

研究の動機と目的

• Fisher の定理や Wilks 現象といった古典的な漸近的結果を、2次罰則を伴う罰則付き最尤推定に拡張すること。
• 漸近的議論に依存せずに、罰則付き MLE および尤度比の鋭い展開を導出すること。
• 真のパrameter次元よりも著しく小さい場合がある有効次元 $p_G$ を用いて推定誤差を特徴づけること。
• i.i.d. 設定において、$p_G^2/n$ が小さい場合に Fisher および Wilks の展開が成り立つ条件を確立すること。
• 有効次元の概念を通じて、無限次元関数的パrameter空間における応用可能性を示すこと。

提案手法

• 対数尤度関数の滑らかさと正則性条件を用いて、罰則付き最尤推定子 $\tilde{\eta}_G$ の鋭い展開を導出する。
• 有効次元 $p_G$ を、パrameter空間の複雑さを測る主要な量として導入し、誤差バウンドにおける真の次元の代わりに用いる。
• 従来のサンプルサイズが大きいという近似に依存せず、代わりに対数尤度の局所的滑らかさに依存する非漸近的技術を適用する。
• $p_G^2/n$ が小さいという条件下で、罰則付き MLE における Fisher 展開を確立し、高次の精度を保証する。
• Wilks 型結果における剰余項を分析し、同じ正則性条件下で $p_G^3/n$ のオーダーであることを示す。
• Bernstein-von Mises 型の議論を用いて、罰則付き推定における事後分布の集中と頻度的推定の一致を結びつける。

実験結果

リサーチクエスチョン

• RQ1 漸近的近似に依存せずに、2次罰則を伴う罰則付き最尤推定に Wilks 現象を拡張できるか？
• RQ2 有効次元 $p_G$ は、罰則付き MLE および尤度比統計量の精度にどのように影響するか？
• RQ3 漸近理論に依存せずに、罰則付き MLE の鋭い展開を導出できる条件は何か？
• RQ4 対数尤度の滑らかさと正則性が、非漸近的展開を可能にする役割は何か？
• RQ5 i.i.d. 設定において、Wilks 結果の剰余項は有効次元 $p_G$ に対してどのようにスケーリングされるか？

主な発見

• 漸近的近似に依存せず、対数尤度の滑らかさと正則性にのみ依存して、罰則付き MLE $\tilde{\eta}_G$ の鋭い展開を導出できる。
• 推定誤差は有効次元 $p_G$ に支配され、真のパrameter次元よりも著しく小さくなる場合があり、無限次元パrameterに対しても成立する。
• i.i.d. 場合、$p_G^2/n$ が小さいとき、Fisher 展開が成り立ち、近似の高次精度が保証される。
• Wilks 型結果における剰余項は $p_G^3/n$ のオーダーであり、同じ正則性条件下で主要項よりも小さい。
• 結果は、古典的な Wilks 現象および Fisher の定理を罰則付き尤度推定に拡張し、高次元および関数的設定における推定の非漸近的基盤を提供する。
• Bernstein-von Mises 定理は罰則付き尤度フレームワークと結びつけられ、有効次元に基づく条件下で、事後分布の集中が頻度的推定と一致することを示唆する。