[論文レビュー] AIC and Cp as estimators of loss for spherically symmetric distributions

Aurélie Boisbunon, Stéphane Canu+3 more|arXiv (Cornell University)|Aug 13, 2013

Statistical Methods and Inference参考文献 44被引用数 3

ひとこと要約

本稿は、正規分布モデルに限らず球対称分布のもとでもAICおよびCpが予測誤差の有効な推定器であることを確立している。損失推定理論とオラクル不等式を用いてモデル選択を結びつけることで、不偏な2次予測誤差推定器が球対称性のもとでも有効であることが示され、これらの基準は正規分布の仮定を超えて一般化され、従属する観測値を許容するようになる。

ABSTRACT

Abstract: In this article, we develop a modern perspective on Akaike’s Information Criterion and Mallows ’ Cp for model selection. Despite the differences in their respective motivation, they are equivalent in the special case of Gaussian linear regression. In this case they are also equivalent to a third criterion, an unbiased estimator of the quadratic prediction loss, derived from loss estimation theory. Our first contribution is to provide an explicit link between loss estimation and model selection through a new oracle inequality. We then show that the form of the unbiased estimator of the quadratic prediction loss under a Gaussian assumption still holds under a more general distributional assumption, the family of spherically symmetric distributions. One of the features of our results is that our criterion does not rely on the specificity of the distribution, but only on its spherical symmetry. Also this family of laws offers some dependence property between the observations, a case not often studied.

研究の動機と目的

• 損失推定理論を用いてAICおよびCpを共通の理論的枠組みで統一する。
• 不偏な2次予測誤差推定器の有効性を正規分布の仮定を超えて拡張する。
• 観測値間に依存性を許容する球対称分布におけるモデル選択基準を調査する。
• 損失推定とモデル選択を結びつける一般化されたオラクル不等式を導出する。

提案手法

• 損失推定とモデル選択を結びつけるオラクル不等式を導出し、モデル選択の理論的基盤を提供する。
• 損失推定理論を用いて、球対称分布のもとでの2次予測誤差の不偏推定器を構築する。
• 球対称性の性質を活用して、正規線形モデルにおける結果をより広い分布のクラスへ一般化する。
• 観測値が従属している場合であっても、不偏損失推定器の形式が球対称性のもとで変わらないことを示す。
• 正規分布設定に限らず、球対称性のもとでAICおよびCpがこの不偏損失推定器と等価であることを示す。
• 直交変換における分布の不変性を活用して、予測誤差の分析を簡略化する。

実験結果

リサーチクエスチョン

• RQ1 AICおよびCpは、正規分布モデルに限らず球対称分布のもとでも損失推定器として正当化できるか？
• RQ2 不偏な2次予測誤差推定器は、正規分布の仮定を超えてどのように一般化されるか？
• RQ3 球対称性は、モデル選択基準の有効性を維持するために果たす役割は何か？
• RQ4 損失推定とモデル選択を結びつけるオラクル不等式を、より広い文脈で確立できるか？
• RQ5 観測値間の依存性は、球対称性のもとでのAICおよびCpの性能にどのように影響するか？

主な発見

• AICおよびCpは、球対称分布のもとで不偏な2次予測誤差推定器と等価であり、正規分布モデルを超えて有効性が拡張される。
• 観測値が従属している場合であっても、不偏損失推定器の形式は球対称性のもとで有効なままである。
• 導出は特定の分布形ではなく球対称性に依存するため、一般性が向上する。
• 損失推定とモデル選択を結びつけるオラクル不等式が確立され、基準の理論的裏付けが得られる。
• 結果として、AICおよびCpの核心的な構造が、従来考えられていたよりも弱い分布的仮定のもとでも保持されることが示された。