[论文解读] AIC for Non-concave Penalized Likelihood Method

Yuta Umezu, Yusuke Shimizu+2 more|arXiv (Cornell University)|Sep 5, 2015

Statistical Methods and Inference参考文献 25被引用 7

一句话总结

本文提出了一种基于原始AIC定义的信息准则，适用于非凹惩罚似然方法（如Bridge、SCAD和MCP）。通过基于得分统计量的渐近偏差评估，推导出Kullback-Leibler散度的渐近无偏估计量，该方法直接最小化预测误差，而非依赖模型选择的一致性，在模拟研究中表现优于交叉验证。

ABSTRACT

Non-concave penalized maximum likelihood methods, such as the Bridge, the SCAD, and the MCP, are widely used because they not only do parameter estimation and variable selection simultaneously but also have a high efficiency as compared to the Lasso. They include a tuning parameter which controls a penalty level, and several information criteria have been developed for selecting it. While these criteria assure the model selection consistency and so have a high value, it is a severe problem that there are no appropriate rules to choose the one from a class of information criteria satisfying such a preferred asymptotic property. In this paper, we derive an information criterion based on the original definition of the AIC by considering the minimization of the prediction error rather than the model selection consistency. Concretely speaking, we derive a function of the score statistic which is asymptotically equivalent to the non-concave penalized maximum likelihood estimator, and then we provide an asymptotically unbiased estimator of the Kullback-Leibler divergence between the true distribution and the estimated distribution based on the function. Furthermore, through simulation studies, we check that the performance of the proposed information criterion gives almost the same as or better than that of the cross-validation.

研究动机与目标

• 解决SCAD和MCP等非凹惩罚似然方法中调参选择的任意性问题。
• 开发一种基于原始AIC定义的信息准则，聚焦于最小化预测误差，而非模型选择一致性。
• 提供真实分布与估计分布之间Kullback-Leibler散度的理论依据充分、渐近无偏的估计量。
• 克服所有满足模型选择一致性的信息准则之间缺乏系统性选择规则的问题。
• 将基于AIC的准则扩展至高维设置下非凸、非凹惩罚，超越Lasso方法。

提出的方法

• 将Hjort和Pollard（1993）的结果扩展至非凹惩罚估计量的渐近性质，基于估计一致性。
• 构建一个与非凹惩罚最大似然估计量渐近等价的得分统计量函数。
• 通过渐近偏差评估，推导出真实分布与估计分布之间Kullback-Leibler散度的估计量。
• 确保KL散度估计量的偏差以均值收敛于零，从而确立严格的渐近无偏性。
• 利用渐近偏差评估，定义一种基于预测误差最小化的新型信息准则。
• 通过模拟研究验证方法，比较其与交叉验证的性能表现。

实验结果

研究问题

• RQ1 能否从原始AIC定义出发，推导出一种最小化预测误差而非依赖模型选择一致性的信息准则？
• RQ2 是否能够为非凹惩罚似然估计量构造一个渐近无偏的Kullback-Leibler散度估计量？
• RQ3 所提出准则在预测准确性和调参选择方面与交叉验证相比表现如何？
• RQ4 所提出方法是否在保持估计一致性的同时，避免了在一致信息准则之间选择的任意性？
• RQ5 AIC框架能否超越Lasso，扩展至SCAD和MCP等非凸惩罚？

主要发现

• 所提出的信息准则对Kullback-Leibler散度具有渐近无偏性，其偏差以均值收敛于零。
• 该方法通过直接针对原始AIC原则，实现预测误差最小化，避免了对模型选择一致性的依赖。
• 模拟研究显示，所提出准则在预测准确性方面与交叉验证相当或更优。
• KL散度估计量通过基于得分统计量的渐近偏差评估构建，确保了理论严谨性。
• 该方法将基于AIC的准则扩展至Bridge、SCAD和MCP等非凹惩罚，此前AIC扩展在此类情形中受限。
• 该方法通过基于预测误差最小化的选择机制，解决了在一致信息准则之间选择的任意性问题。