[论文解读] Approximate Leave-One-Out for Fast Parameter Tuning in High Dimensions.

Shuaiwen Wang, Wenda Zhou+3 more|arXiv (Cornell University)|Jul 3, 2018

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出两种计算高效的框架——基于原始和对偶公式——以近似高维学习问题中非光滑损失和正则化下的留一法交叉验证（LOOCV）风险。该方法通过广义LASSO、核范数正则化和支持向量机的精确、可扩展的ALO估计，实现了快速参数调优，并在不可微设置下获得了理论等价性和经验验证。

ABSTRACT

Consider the following class of learning schemes: $$\hat{\boldsymbol{\beta}} := \arg\min_{\boldsymbol{\beta}}\;\sum_{j=1}^n \ell(\boldsymbol{x}_j^ op\boldsymbol{\beta}; y_j) + \lambda R(\boldsymbol{\beta}),\qquad\qquad (1) $$ where $\boldsymbol{x}_i \in \mathbb{R}^p$ and $y_i \in \mathbb{R}$ denote the $i^{ ext{th}}$ feature and response variable respectively. Let $\ell$ and $R$ be the loss function and regularizer, $\boldsymbol{\beta}$ denote the unknown weights, and $\lambda$ be a regularization parameter. Finding the optimal choice of $\lambda$ is a challenging problem in high-dimensional regimes where both $n$ and $p$ are large. We propose two frameworks to obtain a computationally efficient approximation ALO of the leave-one-out cross validation (LOOCV) risk for nonsmooth losses and regularizers. Our two frameworks are based on the primal and dual formulations of (1). We prove the equivalence of the two approaches under smoothness conditions. This equivalence enables us to justify the accuracy of both methods under such conditions. We use our approaches to obtain a risk estimate for several standard problems, including generalized LASSO, nuclear norm regularization, and support vector machines. We empirically demonstrate the effectiveness of our results for non-differentiable cases.

研究动机与目标

• 解决在样本量 $n$ 和特征维度 $p$ 均较大的高维学习中，最优正则化参数选择的挑战。
• 为非光滑损失函数和正则化项开发一种计算高效的留一法交叉验证（LOOCV）风险近似方法。
• 在损失函数和正则化项满足光滑性条件下，建立原始和对偶公式下近似LOOCV（ALO）的理论等价性。
• 为标准高维问题（如广义LASSO、核范数正则化和支持向量机）提供精确的风险估计。

提出的方法

• 提出一种基于原始问题的框架，通过分析移除单个训练样本对解 $\hat{\boldsymbol{\beta}}$ 的影响，来近似LOOCV风险。
• 开发一种基于对偶问题的框架，利用优化问题的拉格朗日对偶形式推导ALO估计。
• 在损失函数和正则化项满足光滑性条件下，建立原始和对偶ALO近似之间的理论等价性。
• 利用隐函数微分和敏感性分析，推导ALO风险估计的闭式或可计算表达式。
• 将该框架应用于特定模型，包括广义LASSO、通过核范数实现的低秩矩阵恢复以及支持向量机（SVMs）。
• 通过数值实验验证ALO近似在不可微设置下的准确性和效率。

实验结果

研究问题

• RQ1 能否为具有非光滑损失和正则化项的高维模型，推导出一种高效的LOOCV近似方法？
• RQ2 在准确性和计算成本方面，ALO近似的原始和对偶公式如何比较？
• RQ3 在何种条件下，原始和对偶ALO近似在理论上是等价的？
• RQ4 所提出的ALO框架能否为广义LASSO和SVM等标准高维问题提供可靠的風險估计？
• RQ5 在传统LOOCV计算成本过高而不可行的不可微情况下，ALO近似的表现如何？

主要发现

• 所提出的ALO近似为精确LOOCV提供了一种计算高效的替代方案，将计算成本从 $O(n)$ 次求解降低为每次参数调优仅需一次求解。
• 在损失函数和正则化项满足光滑性条件下，原始和对偶ALO框架在理论上是等价的。
• ALO方法即使在LASSO和SVM等不可微问题中，也能实现高精度的LOOCV风险估计。
• 实验结果表明，ALO近似在广义LASSO、核范数和SVM设置中，能有效识别出最优正则化参数。
• 该方法在精确LOOCV因计算成本过高而不可行的高维场景下，表现出良好的可扩展性。