[论文解读] Degrees of Freedom and Model Search

Ryan J. Tibshirani|arXiv (Cornell University)|Feb 9, 2014

Statistical Methods and Inference参考文献 14被引用 5

一句话总结

本文推导了正交预测变量下最佳子集选择的自由度的精确表达式，引入了“搜索自由度”的概念，以量化模型选择的有效成本。该文将Stein公式扩展至处理不连续函数，表明对于最佳子集选择，由于自适应选择的存在，自由度超过所选变量的数量，而Lasso则因收缩效应使自由度等于所选变量的期望数量。

ABSTRACT

Degrees of freedom is a fundamental concept in statistical modeling, as it provides a quantitative description of the amount of fitting performed by a given procedure. But, despite this fundamental role in statistics, its behavior not completely well-understood, even in some fairly basic settings. For example, it may seem intuitively obvious that the best subset selection fit with subset size k has degrees of freedom larger than k, but this has not been formally verified, nor has is been precisely studied. In large part, the current paper is motivated by this particular problem, and we derive an exact expression for the degrees of freedom of best subset selection in a restricted setting (orthogonal predictor variables). Along the way, we develop a concept that we name "search degrees of freedom"; intuitively, for adaptive regression procedures that perform variable selection, this is a part of the (total) degrees of freedom that we attribute entirely to the model selection mechanism. Finally, we establish a modest extension of Stein's formula to cover discontinuous functions, and discuss its potential role in degrees of freedom and search degrees of freedom calculations.

研究动机与目标

• 正式刻画最佳子集选择的自由度，该过程的过拟合直观预期尚未得到严格确立。
• 引入并形式化“搜索自由度”的概念——即自适应回归中仅由模型选择机制带来的总自由度部分。
• 将Stein公式扩展至覆盖模型选择过程中出现的不连续函数，使非光滑、自适应过程（如最佳子集选择）的自由度计算成为可能。
• 对比最佳子集选择与Lasso在自由度行为上的差异，其中Lasso的自由度等于所选变量的期望数量，归因于收缩效应。

提出的方法

• 通过将Stein公式新颖地扩展至不连续函数，推导出在正交预测变量下最佳子集选择的自由度的精确表达式。
• 引入“搜索自由度”的概念，作为完全由模型选择过程引起的总自由度的组成部分。
• 使用分部积分和条件期望技术，处理最佳子集选择中模型选择机制的非光滑性。
• 将扩展后的Stein公式应用于计算拟合值对响应变量变化的期望敏感性，从而直接得出自由度。
• 证明在正交预测变量下，最佳子集选择的自由度超过所选变量数量，这是由于在模型空间中进行自适应搜索所致。
• 将所得结果与已知的Lasso自由度公式进行比较，突出收缩效应在平衡选择成本中的作用。

实验结果

研究问题

• RQ1 对于大小为 $k$ 的子集选择，最佳子集选择的自由度是否严格大于 $k$？若是，超出多少？
• RQ2 在自适应回归过程中，模型选择机制对总自由度的精确贡献是什么？
• RQ3 如何将Stein公式扩展以处理最佳子集选择等模型选择过程中出现的不连续函数？
• RQ4 为何Lasso的自由度等于所选变量的期望数量，而最佳子集选择却不如此？
• RQ5 “搜索自由度”的概念能否以一种形式化且可量化的方方式定义，从而将变量选择的成本与估计过程分离？

主要发现

• 在正交预测变量下，由于自适应选择过程的存在，最佳子集选择的自由度严格大于 $k$（即所选变量的数量）。
• 本文推导出在正交设计下最佳子集选择自由度的精确解析表达式，证实其超过 $k$。
• 正式引入并量化了“搜索自由度”的概念，代表独立于估计的模型搜索的有效成本。
• 扩展后的Stein公式使非光滑、不连续过程（如最佳子集选择）的自由度计算成为可能。
• 与最佳子集选择不同，Lasso的自由度等于所选变量的期望数量，这是由于 $ abla_1$ 收缩效应的平衡作用。
• 结果表明，最佳子集选择中模型搜索的成本不可忽视，必须在模型比较和风险估计中显式考虑。