[论文解读] AIC and Cp as estimators of loss for spherically symmetric distributions

Aurélie Boisbunon, Stéphane Canu+3 more|arXiv (Cornell University)|Aug 13, 2013

Statistical Methods and Inference参考文献 44被引用 3

一句话总结

本文证明了AIC和Cp在球对称分布下仍是预测损失的有效估计量，而不仅限于高斯模型。通过建立损失估计理论与模型选择之间的“oracle不等式”，本文表明无偏二次损失估计量在球对称条件下依然有效，将这些准则的适用范围从高斯假设扩展至更广义的分布，并允许误差之间存在依赖关系。

ABSTRACT

Abstract: In this article, we develop a modern perspective on Akaike’s Information Criterion and Mallows ’ Cp for model selection. Despite the differences in their respective motivation, they are equivalent in the special case of Gaussian linear regression. In this case they are also equivalent to a third criterion, an unbiased estimator of the quadratic prediction loss, derived from loss estimation theory. Our first contribution is to provide an explicit link between loss estimation and model selection through a new oracle inequality. We then show that the form of the unbiased estimator of the quadratic prediction loss under a Gaussian assumption still holds under a more general distributional assumption, the family of spherically symmetric distributions. One of the features of our results is that our criterion does not rely on the specificity of the distribution, but only on its spherical symmetry. Also this family of laws offers some dependence property between the observations, a case not often studied.

研究动机与目标

• 通过损失估计理论，将AIC和Cp统一于同一理论框架下。
• 将无偏二次预测损失估计量的有效性扩展至高斯假设之外。
• 研究在允许观测之间存在依赖关系的球对称分布下的模型选择准则。
• 推导一个将损失估计与模型选择相联系的一般性oracle不等式。

提出的方法

• 推导一个将损失估计与模型选择相联系的oracle不等式，为模型选择提供理论基础。
• 利用损失估计理论，在球对称分布下构造二次预测损失的无偏估计量。
• 利用球对称性质，将高斯线性模型的结果推广至更广泛的分布类。
• 证明无偏损失估计量的形式在球对称条件下保持不变，即使误差存在依赖关系。
• 证明AIC和Cp在球对称条件下等价于该无偏损失估计量，而不仅限于高斯情形。
• 利用正交变换下的分布不变性，简化预测损失的分析。

实验结果

研究问题

• RQ1 AIC和Cp是否可在球对称分布下（而不仅限于高斯模型）被证明为损失估计量？
• RQ2 无偏二次预测损失估计量如何在高斯假设之外进行推广？
• RQ3 球对称性在保持模型选择准则有效性方面起到何种作用？
• RQ4 能否在更广泛的情境下建立一个将损失估计与模型选择相联系的oracle不等式？
• RQ5 观测之间的依赖关系如何影响在球对称条件下AIC和Cp的表现？

主要发现

• 在球对称分布下，AIC和Cp等价于二次预测损失的无偏估计量，其有效性得以扩展至高斯模型之外。
• 即使观测之间存在依赖关系，无偏损失估计量的形式在球对称条件下依然有效。
• 推导过程仅依赖于球对称性，而非特定分布形式，从而增强了结果的普适性。
• 建立了将损失估计与模型选择相联系的oracle不等式，为准则提供了理论依据。
• 结果表明，AIC和Cp的核心结构在比以往认为更弱的分布假设下依然保持不变。