[論文レビュー] Statistical models, likelihood, penalized likelihood and hierarchical likelihood

Daniel Commenges|ArXiv.org|Aug 29, 2008

Advanced Statistical Methods and Models参考文献 26被引用数 3

ひとこと要約

この論文は、統計における尤度推定の基礎的概要を提供し、従来の、罰則付きの、および階層的尤度手法に焦点を当てている。これらはカルバック・ライバラー発散との関連を確立し、罰則付き尤度とシーブ推定子の同等性を示し、ベイズ的MAP推定との関係を検討する。特に、このような同定におけるパrameter化不変性の課題を強調している。

ABSTRACT

We give an overview of statistical models and likelihood, together with two of its variants: penalized and hierarchical likelihood. The Kullback-Leibler divergence is referred to repeatedly, for defining the misspecification risk of a model, for grounding the likelihood and the likelihood crossvalidation which can be used for choosing weights in penalized likelihood. Families of penalized likelihood and sieves estimators are shown to be equivalent. The similarity of these likelihood with a posteriori distributions in a Bayesian approach is considered.

研究の動機と目的

• 統計的モデルと尤度の理論的基礎を明確にすること、特にカルバック・ライバラー発散との関連において。
• 罰則付き尤度が滑らかさ制約を導入する役割を検討し、シーブ推定子とその同等性を示すこと。
• 尤度に基づく推定とベイズ的MAP推定との関係を調査すること、特にパrameter化不変性に関する点に注目すること。
• モデルおよび推定子選択のための尤度交差検証およびAICに類似した基準の評価すること。

提案手法

• シグマ代数を明示的に取り入れたカルバック・ライバラー発散の拡張形式を用い、モデル不適合リスクと結びつける。
• ラドン＝ニコディム微分および条件付き期待値の観点から尤度と罰則付き尤度を定義する。
• 関数近似を通じて、罰則付き尤度推定子の族とシーブ推定子の族との同等性を示す。
• 尤度交差検証およびAIC型基準を用い、真の分布下の期待値を経験的期待値に置き換えることで、カルバック・ライバラーリスクを推定する。
• 特定の事前分布、特に平坦な事前分布およびジェフレーズの事前分布の下で、最尤推定子および罰則付き尤度推定子をMAP推定子と同定する。
• MAP推定子が再パラメータ化に対して不変でないことを強調し、罰則付き尤度とベイズ的MAPとの直接的同等性に疑問を呈する。

実験結果

リサーチクエスチョン

• RQ1 カルバック・ライバラー発散は、統計的モデルおよび尤度に基づく推定子のリスク評価の根拠としてどのように機能するか？
• RQ2 罰則付き尤度とシーブ推定子との間の数学的および概念的同等性は何か？
• RQ3 最大罰則付き尤度推定子をMAP推定子として解釈できるか？その解釈にどのような制限があるか？
• RQ4 尤度交差検証は、カルバック・ライバラーリスクに基づいて最適な推定子またはモデルを選択するためにどのように利用できるか？
• RQ5 パラメータ化依存性が、尤度に基づく推定子とベイズ的MAP推定子との同定に与える影響は何か？

主な発見

• 罰則付き尤度推定子とシーブ推定子は同等の族を形成し、非パラメトリックスムージングと正則化の理論的橋渡しを確立する。
• カルバック・ライバラー発散は、最尤推定、AIC、および尤度交差検証の背後にある基本的リスク測度である。
• 尤度交差検証は、真の期待値を経験的分布に置き換えることで、カルバック・ライバラーリスクを推定可能にし、実用的なモデル選択を可能にする。
• 最大罰則付き尤度推定子は特定の事前分布の下でMAP推定子と解釈できるが、再パラメータ化においてこの同等性は破綻する。これは、事前分布が不変でないためである。
• ジェフレーズの事前分布は再パラメータ化に対して不変であるが、MAP推定値を最尤推定値からずらすため、平坦な事前分布と最尤推定値はパrameterizationの変更において同等ではない。
• 本論文は、尤度推定子とベイズ的MAP推定子は密接に関連しているが、再パラメータ化における不変性の欠如が、両者の同定の強度を制限していると結論づける。