[论文解读] Approximate Leave-One-Out for High-Dimensional Non-Differentiable Learning Problems

Shuaiwen Wang, Wenda Zhou+3 more|arXiv (Cornell University)|Oct 4, 2018

Sparse and Compressive Sensing Techniques参考文献 38被引用 8

一句话总结

本文提出了三种计算高效的框架——原始、对偶和近端——用于近似高维、不可微学习问题中的留一法交叉验证（LOOCV）风险。这些方法在LASSO、SVM和核范数等非光滑损失函数与正则化项中实现了精确的参数调优，且在可微条件下与先前的光滑方法等价，经大量模拟实验验证。

ABSTRACT

Consider the following class of learning schemes: \begin{equation} \label{eq:main-problem1} \hat{\boldsymbolβ} := \underset{\boldsymbolβ \in \mathcal{C}}{\arg\min} \;\sum_{j=1}^n \ell(\boldsymbol{x}_j^ op\boldsymbolβ; y_j) + λR(\boldsymbolβ), \qquad \qquad \qquad (1) \end{equation} where $\boldsymbol{x}_i \in \mathbb{R}^p$ and $y_i \in \mathbb{R}$ denote the $i^{ m th}$ feature and response variable respectively. Let $\ell$ and $R$ be the convex loss function and regularizer, $\boldsymbolβ$ denote the unknown weights, and $λ$ be a regularization parameter. $\mathcal{C} \subset \mathbb{R}^{p}$ is a closed convex set. Finding the optimal choice of $λ$ is a challenging problem in high-dimensional regimes where both $n$ and $p$ are large. We propose three frameworks to obtain a computationally efficient approximation of the leave-one-out cross validation (LOOCV) risk for nonsmooth losses and regularizers. Our three frameworks are based on the primal, dual, and proximal formulations of (1). Each framework shows its strength in certain types of problems. We prove the equivalence of the three approaches under smoothness conditions. This equivalence enables us to justify the accuracy of the three methods under such conditions. We use our approaches to obtain a risk estimate for several standard problems, including generalized LASSO, nuclear norm regularization, and support vector machines. We empirically demonstrate the effectiveness of our results for non-differentiable cases.

研究动机与目标

• 解决在n和p均较大的高维设置下，精确留一法交叉验证（LOOCV）带来的高计算成本问题。
• 为不可微损失函数和正则化项（如合页损失和L1正则化）开发计算高效的LOOCV风险近似方法。
• 提供一种统一且精确的近似方法，即使在数据划分因高维区域相变导致不稳定性时仍保持有效性。
• 将现有光滑LOOCV近似方法扩展至非光滑设置，确保在现代机器学习问题中的可靠性。
• 通过实证验证所提近似方法在广义LASSO、支持向量机和核范数正则化中的准确性。

提出的方法

• 原始框架通过平滑化和对原始优化问题的二次近似，推导出近似留一法估计器。
• 对偶框架通过近似学习问题的对偶形式，推导出ALO近似，利用凸对偶性。
• 近端框架将近端算法应用于优化问题，通过迭代更新实现留一法预测的高效计算。
• 当损失函数和正则化项为二阶可微时，三种框架被证明等价，与[43]中的先前结果一致。
• 该方法被用于推导广义LASSO、核范数最小化和支持向量机的闭式ALO公式。
• 理论分析表明，在光滑性条件下近似具有收敛性，数值验证确认了其在非光滑情况下的准确性。

实验结果

研究问题

• RQ1 我们能否为具有不可微损失和正则化项的高维问题开发计算高效的LOOCV风险近似方法？
• RQ2 原始、对偶和近端框架在不同类型的机器学习问题中，其精度和计算效率如何比较？
• RQ3 在何种条件下，所提出的三种框架等价？这种等价性如何验证其准确性？
• RQ4 所提出的ALO近似能否在k折CV存在偏差的高维区域中可靠估计泛化预测误差？
• RQ5 在真实世界模型（如广义LASSO、SVM和低秩矩阵恢复）中，这些近似方法的实证表现如何？

主要发现

• 所提出的ALO近似在估计泛化预测误差方面表现出高精度，即使在LASSO和SVM等不可微问题中也优于高维区域中存在偏差的k折CV。
• 对于光滑损失和正则化函数，三种框架产生相同的ALO公式，与[43]中的结果一致，验证了其理论一致性。
• 原始、对偶和近端框架在不同问题结构下表现出互补优势，其中近端方法在稀疏和低秩模型中尤为有效。
• 实证结果表明，ALO近似在n=5000、p=4000的模拟中，即使在高维相变条件下，也能紧密跟踪真实泛化误差。
• 该方法成功处理了如核范数等非光滑正则化项以及如合页损失等非光滑损失，将LOOCV近似适用范围扩展至非光滑设置。
• 收敛性分析确认，当平滑参数ε→0时，近似仍保持有效，海塞矩阵的非对角项和对角项适当收敛，从而产生一致估计量。