[论文解读] Model selection in density estimation via cross-validation

Alain Célisse|arXiv (Cornell University)|Oct 10, 2008

Statistical Methods and Inference参考文献 43被引用 1

一句话总结

本文对密度估计中的交叉验证（CV）进行了理论分析，推导出基于投影方法的CV风险估计器的闭式表达式。在霍尔德空间和贝索夫空间中建立了Oracle不等式和自适应结果，表明由于惩罚力度增加，CV性能随测试集大小的增大而提升。

ABSTRACT

The problem of model selection by cross-validation is addressed in the density estimation framework. Extensively used in practice, cross-validation (CV) remains poorly understood, especially in the non-asymptotic setting which is the main concern of this work. A recurrent problem with CV is the computation time it involves. This drawback is overcome here thanks to closed-form expressions for the CV estimator of the risk for a broad class of widespread estimators: projection estimators. In order to shed new lights on CV procedures with respect to the cardinality $p$ of the test set, the CV estimator is interpreted as a penalized criterion with a random penalty. For instance, the amount of penalization is shown to increase with $p$. A theoretical assessment of the CV performance is carried out thanks to two oracle inequalities applying to respectively bounded or square-integrable densities. For several collections of models, adaptivity results with respect to Holder and Besov spaces are derived as well.

研究动机与目标

• 解决在非渐近设定下对密度估计中交叉验证（CV）理论理解不足的问题。
• 通过为投影估计器中的CV风险推导闭式表达式，减轻CV的计算负担。
• 将CV解释为具有随机惩罚的惩罚准则，分析惩罚强度如何依赖于测试集大小 $ p $。
• 在有界密度和平方可积密度假设下，通过Oracle不等式建立CV的理论性能保证。
• 在霍尔德空间和贝索夫空间等函数空间中推导CV的自适应结果。

提出的方法

• 为一大类投影估计器的CV风险估计器推导出闭式表达式，实现高效计算。
• 将CV准则解释为具有随机惩罚的似然惩罚准则，其中惩罚随测试集大小 $ p $ 的增加而增大。
• 应用两条Oracle不等式——一条针对有界密度，另一条针对平方可积密度——以评估CV性能。
• 利用这些不等式推导出在霍尔德空间和贝索夫空间中的自适应结果，表明CV能够选择接近最优收敛速率的模型。
• 分析CV在不同模型族和测试集大小下的行为，以理解其理论鲁棒性。

实验结果

研究问题

• RQ1 如何在不牺牲理论保证的前提下，使密度估计中的交叉验证计算更高效？
• RQ2 测试集大小 $ p $ 与CV中有效惩罚之间的理论关系是什么？
• RQ3 在有界或平方可积密度假设下，CV能否在风险估计中实现Oracle性能？
• RQ4 CV在非参数函数空间（如霍尔德空间和贝索夫空间）中，能在多大程度上自适应地选择模型？
• RQ5 将CV解释为具有随机惩罚的惩罚准则，如何增进对其行为的理解？

主要发现

• 为投影估计器推导出CV风险估计器的闭式表达式，显著降低了计算成本。
• CV过程被解释为惩罚准则，其中惩罚随测试集大小 $ p $ 增大而增强，解释了其偏差-方差权衡。
• 为有界密度和平方可积密度建立了Oracle不等式，提供了CV风险性能的理论边界。
• 在霍尔德空间和贝索夫空间中推导出自适应结果，表明CV能够实现最优或近似最优的收敛速率。
• 理论分析证实，由于更强的惩罚降低了过拟合，CV性能随 $ p $ 增大而提升。