[论文解读] Approximate Cross-Validation in High Dimensions with Guarantees

William Stephenson, Tamara Broderick|arXiv (Cornell University)|May 31, 2019

Statistical Methods and Inference参考文献 45被引用 5

一句话总结

该论文提出了一种计算高效且具有理论保证的方法，用于在高维设置下近似留一法交叉验证（LOOCV），通过利用参数向量中的稀疏性。通过使用完整数据拟合识别出一个小型、可经验恢复的支持集，并将LOOCV近似限制在此子空间内，该方法实现了低误差和运行时间与支持集大小成比例，而非与完整维度成比例，即使整体参数维度较大时也是如此。

ABSTRACT

Leave-one-out cross-validation (LOOCV) can be particularly accurate among cross-validation (CV) variants for machine learning assessment tasks -- e.g., assessing methods' error or variability. But it is expensive to re-fit a model $N$ times for a dataset of size $N$. Previous work has shown that approximations to LOOCV can be both fast and accurate -- when the unknown parameter is of small, fixed dimension. But these approximations incur a running time roughly cubic in dimension -- and we show that, besides computational issues, their accuracy dramatically deteriorates in high dimensions. Authors have suggested many potential and seemingly intuitive solutions, but these methods have not yet been systematically evaluated or compared. We find that all but one perform so poorly as to be unusable for approximating LOOCV. Crucially, though, we are able to show, both empirically and theoretically, that one approximation can perform well in high dimensions -- in cases where the high-dimensional parameter exhibits sparsity. Under interpretable assumptions, our theory demonstrates that the problem can be reduced to working within an empirically recovered (small) support. This procedure is straightforward to implement, and we prove that its running time and error depend on the (small) support size even when the full parameter dimension is large.

研究动机与目标

• 解决现有LOOCV近似方法在高维设置下计算不可行性及精度下降的问题。
• 评估并比较以往针对高维近似LOOCV的启发式解决方案，这些方法尚未得到系统性评估。
• 识别一种在真实参数稀疏时仍能保持精度和效率的方法，即使在高环境维度下亦如此。
• 在可解释的、有限样本条件下，理论证明在简化支持集上近似的合理性。
• 证明运行时间和误差仅依赖于真实支持的大小，而非完整维度。

提出的方法

• 通过ℓ1正则化一次性拟合完整模型，以估计稀疏支持集S，假设真实参数是稀疏的。
• 仅将LOOCV近似限制在估计支持集S中的坐标上，将问题维度从D降低至|S|。
• 仅在低维子空间S上应用现有的近似LOOCV方法（例如基于Hessian或Jacobian近似的方法）。
• 证明在温和条件下，支持集S在所有LOOCV折中以高概率共享。
• 使用浓度不等式和次高斯/次指数尾部界来控制关键量（如Hessian和梯度范数）的偏差。
• 建立理论误差界，其规模与|S|成比例，而非与D成比例，即使D较大且随N增长亦如此。

实验结果

研究问题

• RQ1 现有近似LOOCV方法能否在高维设置下同时实现快速与高精度？
• RQ2 为何以往的近似方法在高维下失效，尽管在低维下具有理论保证？
• RQ3 在何种条件下，低维子空间近似可保持高维LOOCV的精度？
• RQ4 在有限样本中，稀疏参数的支持是否在所有LOOCV折中保持稳定？
• RQ5 能否将近似LOOCV的计算成本和误差限制在真实支持大小上，而非环境维度？

主要发现

• 除一种方法外，所有先前针对高维近似LOOCV的方法均无法同时保持精度与效率，导致在实践中不可用。
• 所提出的方法通过将近似限制在从完整数据集中恢复的稀疏支持上，实现了与支持集大小|S|成比例的低误差和低运行时间，而非与完整维度D成比例。
• 理论分析证明，在温和且可解释的条件下，支持集在所有LOOCV折中以高概率共享，即使D = o(e^N)亦成立。
• 对于线性和逻辑回归，该方法的误差和运行时间仅依赖于|S|，且误差界随|S|减小而改善。
• 经验结果表明，即使D较大而N适中，该方法仍能保持高精度，其速度和稳定性相比其他方法提升数个数量级。
• 该方法对高维设计矩阵具有鲁棒性，对关键量（如Hessian和梯度范数）的概率界确保了在次高斯设计下的稳定性。