[论文解读] A Survey of Tuning Parameter Selection for High-dimensional Regression

Yunan Wu, Lan Wang|arXiv (Cornell University)|Aug 10, 2019

Statistical Methods and Inference参考文献 70被引用 7

一句话总结

本综述系统回顾了高维惩罚回归中调参参数选择方法，重点关注Lasso及其变体。评估了预测精度与支持恢复（变量选择一致性）的策略，比较了交叉验证、BIC与数据驱动方法，并讨论了无调参替代方法，为高维统计领域的研究人员提供了理论洞见与实践指导。

ABSTRACT

Penalized (or regularized) regression, as represented by Lasso and its variants, has become a standard technique for analyzing high-dimensional data when the number of variables substantially exceeds the sample size. The performance of penalized regression relies crucially on the choice of the tuning parameter, which determines the amount of regularization and hence the sparsity level of the fitted model. The optimal choice of tuning parameter depends on both the structure of the design matrix and the unknown random error distribution (variance, tail behavior, etc). This article reviews the current literature of tuning parameter selection for high-dimensional regression from both theoretical and practical perspectives. We discuss various strategies that choose the tuning parameter to achieve prediction accuracy or support recovery. We also review several recently proposed methods for tuning-free high-dimensional regression.

研究动机与目标

• 系统回顾高维惩罚回归中的调参选择方法，特别是Lasso及其变体。
• 考察不同调参选择策略（包括交叉验证、BIC与数据驱动方法）在理论与实践中的表现。
• 评估高维设定下预测精度与支持恢复（变量选择一致性）之间的权衡。
• 讨论无调参高维回归方法的最新进展，这些方法可消除调参选择的需求。
• 根据研究目标（预测、变量选择或计算效率）指导研究人员选择合适的调参策略。

提出的方法

• 回顾Lasso估计量作为正则化最小二乘问题的解：$\min_{\bm{\beta}} \left\{ \frac{1}{2n}||\mathbf{y} - \mathbf{X}\bm{\beta}||^2 + \lambda||\bm{\beta}||_1 \right\}$，其中$\lambda$控制稀疏性。
• 分析交叉验证（CV）作为数据驱动的调参选择方法，特别是10折交叉验证，其性能依赖于误差分布与尾部行为。
• 研究信息准则（如BIC与扩展BIC）在模型选择中的应用，包括其在正则条件下理论一致性的表现。
• 讨论缩放Lasso与$\sqrt{\mbox{Lasso}}$方法，这些方法利用误差方差的数据驱动估计以提升调参稳定性。
• 回顾分位数损失函数的枢轴性质在分位数回归中调参选择的应用，如Belloni与Chernozhukov所研究。
• 评估扩展BIC型准则在多种模型中的应用，包括分位数回归、SVM、半参数模型与面板数据，给出理论一致性结果。

实验结果

研究问题

• RQ1 在高维回归中，不同调参选择方法（如交叉验证、BIC、数据驱动方法）在预测误差与支持恢复方面的表现如何？
• RQ2 误差分布（如重尾、非正态）对交叉验证与缩放Lasso等调参选择方法性能有何影响？
• RQ3 在何种条件下，扩展BIC型准则能在高维模型中实现变量选择一致性？
• RQ4 与使用交叉验证的传统Lasso相比，无调参方法（如$\sqrt{\mbox{Lasso}}$与缩放Lasso）在稀疏性与预测精度方面表现如何？
• RQ5 为何最优预测的“理想调参”参数并不必然导致高维图模型中的一致邻域选择？

主要发现

• 在S&P 500数据上，Lasso与$\sqrt{\mbox{Lasso}}$的预测性能相似，但Lasso生成的模型更稀疏（平均稀疏度60.03 vs. 76.63）。
• 缩放Lasso表现出更高的预测误差（L2误差：0.08 vs. 0.05）与更大的模型规模，可能由于非正态误差分布影响其默认调参方法。
• 交叉验证仍是广泛使用且有效的方法，但其性能对误差分布与尾部行为敏感。
• 扩展BIC型准则在高维模型中（包括分位数回归与半参数模型）表现出理论一致性，适用于变量选择。
• 分位数损失函数的枢轴性质使得惩罚分位数回归中的调参选择具有一致性，如Belloni与Chernozhukov所展示。
• Meinshausen与Bühlmann（2006）表明，最优预测的“理想调参”并不保证一致的邻域选择，凸显了预测与变量选择目标之间的关键理论差异。