[論文レビュー] AIC, Cp and estimators of loss for elliptically symmetric distributions

Aurélie Boisbunon, Stéphane Canu+3 more|arXiv (Cornell University)|Aug 13, 2013

Statistical Methods and Inference参考文献 45被引用数 4

ひとこと要約

この論文は、球対称および楕円対称分布へのモデル選択のための赤池情報量基準（AIC）およびマロウズの $C_p$ を一般化する。従来、正規分布仮定のもとでのみ有効であった二乗予測損失の不偏推定量が、球対称性のもとでも有効であることが示される。主な貢献は、分布の具体的な形を仮定せず、球対称性または楕円対称性の下で、これらの基準が形を変えず不偏性を保つことである。これにより、重い尾を持つ誤差や相関のある誤差モデルに対しても、頑健なモデル選択が可能になる。

ABSTRACT

In this article, we develop a modern perspective on Akaike's Information Criterion and Mallows' Cp for model selection. Despite the diff erences in their respective motivation, they are equivalent in the special case of Gaussian linear regression. In this case they are also equivalent to a third criterion, an unbiased estimator of the quadratic prediction loss, derived from loss estimation theory. Our first contribution is to provide an explicit link between loss estimation and model selection through a new oracle inequality. We then show that the form of the unbiased estimator of the quadratic prediction loss under a Gaussian assumption still holds under a more general distributional assumption, the family of spherically symmetric distributions. One of the features of our results is that our criterion does not rely on the speci ficity of the distribution, but only on its spherical symmetry. Also this family of laws o ffers some dependence property between the observations, a case not often studied.

研究の動機と目的

• AICおよび$C_p$の理論的基盤を、正規線形モデルを超えてより一般的な楕円分布へ拡張すること。
• 二乗予測損失の不偏推定量が、球対称誤差分布のもとでも有効であることを確立すること。
• 正規分布下での$C_p$、AIC、損失推定の等価性が、球対称族へ拡張されることを示すこと。
• 不変損失関数を用いて、任意の共分散構造を持つ楕円対称分布へ枠組みを一般化すること。
• 分布に依存しない基準を提供し、より弱い対称性仮定のもとで不偏性を維持すること。

提案手法

• 球対称誤差のもとで、Steinの補題およびSURE（Steinの不偏リスク推定）の原則を用いて、二乗予測損失の不偏推定量を導出する。
• 誤差ベクトルと推定量の発散に関する二次形式の期待値を扱うために、Stein-Haffの補題を適用する。
• 損失関数の直交変換における不変性を活用し、球対称設定における期待値計算を簡略化する。
• 未知の共分散$\Sigma$をもつ行列回帰モデルを導入することで、結果を楕円対称分布へ一般化する。
• 不偏性が、正規分布に限らず、根本的な楕円対称分布に対しても成り立つことを確立する。
• 正規分布下での不偏損失推定量の形が、球対称性のもとでも、特定の密度関数の形状に依存せずに有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 正規分布仮定のもとで導出された予測損失の不偏推定量は、球対称誤差分布のもとでも有効であるか？
• RQ2 正規分布以外の状況においても、$C_p$、AIC、不偏損失推定量の等価性を拡張できるか？
• RQ3 非球対称共分散をもつ楕円対称分布へ、$C_p$ や AIC などのモデル選択基準をどのように一般化できるか？
• RQ4 球対称性は、損失推定基準の形を保存する上でどのような役割を果たすか？
• RQ5 正規性を仮定せず、より重い尾を持つ誤差構造や相関のある誤差構造に対しても、損失推定量を頑健にできるか？

主な発見

• 正規分布仮定のもとでの二乗予測損失の不偏推定量は、球対称分布のもとでも、その形と不偏性を保ち、密度関数の具体的な形状に依存しない。
• $C_p$、AIC、不偏損失推定量の等価性は、正規分布に限らず、すべての球対称分布に成立する。
• 一般共分散$\Sigma$をもつ楕円対称分布に対しては、行列回帰モデルとStein-Haff型の補題を用いて、不変損失の不偏推定量を導出可能である。
• この基準は、分布に依存しない性質を有しており、密度関数の具体的な形ではなく、球対称性に依存する。
• 導出された推定量は、重い尾を持つ誤差に対しても頑健であり、楕円族の枠組みにより相関成分に対しても対応可能である。
• 結果から、$C_p$ や AIC は本質的に正規分布に依存するものではなく、より広い対称性条件下でも有効であることが示され、実用的応用性が向上する。