[论文解读] AIC, Cp and estimators of loss for elliptically symmetric distributions

Aurélie Boisbunon, Stéphane Canu+3 more|arXiv (Cornell University)|Aug 13, 2013

Statistical Methods and Inference参考文献 45被引用 4

一句话总结

本文将赤池信息准则（AIC）和马洛斯的 $C_p$ 模型选择方法推广至球对称与椭球对称分布，表明此前仅在高斯假设下成立的二次预测损失无偏估计量，在球对称条件下依然有效。关键贡献在于，这些准则在无需具体分布假设的前提下，仅依赖于球对称或椭球对称性，即可保持其形式与无偏性，从而为重尾和相关误差模型提供了稳健的模型选择方法。

ABSTRACT

In this article, we develop a modern perspective on Akaike's Information Criterion and Mallows' Cp for model selection. Despite the diff erences in their respective motivation, they are equivalent in the special case of Gaussian linear regression. In this case they are also equivalent to a third criterion, an unbiased estimator of the quadratic prediction loss, derived from loss estimation theory. Our first contribution is to provide an explicit link between loss estimation and model selection through a new oracle inequality. We then show that the form of the unbiased estimator of the quadratic prediction loss under a Gaussian assumption still holds under a more general distributional assumption, the family of spherically symmetric distributions. One of the features of our results is that our criterion does not rely on the speci ficity of the distribution, but only on its spherical symmetry. Also this family of laws o ffers some dependence property between the observations, a case not often studied.

研究动机与目标

• 将 AIC 和 $C_p$ 的理论基础从高斯线性模型推广至更一般的椭球分布。
• 建立在球对称误差分布下，二次预测损失无偏估计量的有效性。
• 证明在高斯性下 $C_p$、AIC 与损失估计之间的等价性可推广至球对称族。
• 通过不变损失函数，将框架推广至具有任意协方差结构的椭球对称分布。
• 提供一种与分布无关的模型选择准则，在较弱对称性假设下保持无偏性。

提出的方法

• 在球对称误差下，利用斯蒂恩（Stein）恒等式与 SURE（Stein 无偏风险估计）原理，推导出二次预测损失的无偏估计量。
• 应用斯蒂恩-霍夫恒等式，处理涉及误差向量与估计量散度的二次型的期望。
• 利用损失函数在正交变换下的不变性，简化球对称设定下的期望计算。
• 通过引入具有未知协方差 $\Sigma$ 的矩阵回归模型，将结果推广至椭球对称分布。
• 证明损失估计量的无偏性相对于底层椭球分布成立，而不仅限于高斯情形。
• 表明在高斯性下成立的无偏损失估计量形式，在球对称条件下依然有效，且与密度函数的具体形状无关。

实验结果

研究问题

• RQ1 在高斯假设下推导出的预测损失无偏估计量，在球对称误差分布下是否依然有效？
• RQ2 在高斯情形之外，$C_p$、AIC 与无偏损失估计量之间的等价性是否可以扩展？
• RQ3 如何将 $C_p$ 和 AIC 等模型选择准则推广至具有非球形协方差的椭球对称分布？
• RQ4 球对称性在保持损失估计准则形式方面起到何种作用？
• RQ5 能否在不假设正态性的情况下，使损失估计量对重尾和相关误差结构保持稳健？

主要发现

• 在高斯假设下成立的二次预测损失无偏估计量，在球对称分布下仍保持其形式与无偏性，且与密度函数的具体形状无关。
• $C_p$、AIC 与无偏损失估计量之间的等价性适用于所有球对称分布，而不仅限于高斯分布。
• 对于具有通用协方差 $\Sigma$ 的椭球对称分布，可通过矩阵回归模型与斯蒂恩-霍夫型恒等式，推导出不变损失的无偏估计量。
• 该准则具有分布无关性，其依赖仅在于球对称性，而非密度函数的具体形式。
• 所推导的估计量对重尾误差具有稳健性，并可通过椭球族框架处理相关分量。
• 结果表明，$C_p$ 和 AIC 并非本质上依赖于高斯性，而是在更广泛的对称条件下依然有效，从而增强了其实际适用性。