[论文解读] A Swiss Army Infinitesimal Jackknife

Ryan Giordano, William Stephenson+3 more|arXiv (Cornell University)|Jun 1, 2018

Bayesian Modeling and Causal Inference被引用 29

一句话总结

本文提出了一种快速、有限样本准确的交叉验证与自助法近似方法，采用无穷小jackknife——即模型对数据权重敏感度的线性近似。通过利用自动微分并提供在温和正则性条件下的显式误差界，该方法在保持对任意固定 $k$ 的留-$k$-出交叉验证一致估计的同时，实现了高达一个数量级的速度提升，从而实现了现代机器学习中可扩展的不确定性量化。

ABSTRACT

The error or variability of machine learning algorithms is often assessed by repeatedly re-fitting a model with different weighted versions of the observed data. The ubiquitous tools of cross-validation (CV) and the bootstrap are examples of this technique. These methods are powerful in large part due to their model agnosticism but can be slow to run on modern, large data sets due to the need to repeatedly re-fit the model. In this work, we use a linear approximation to the dependence of the fitting procedure on the weights, producing results that can be faster than repeated re-fitting by an order of magnitude. This linear approximation is sometimes known as the "infinitesimal jackknife" in the statistics literature, where it is mostly used as a theoretical tool to prove asymptotic results. We provide explicit finite-sample error bounds for the infinitesimal jackknife in terms of a small number of simple, verifiable assumptions. Our results apply whether the weights and data are stochastic or deterministic, and so can be used as a tool for proving the accuracy of the infinitesimal jackknife on a wide variety of problems. As a corollary, we state mild regularity conditions under which our approximation consistently estimates true leave-$k$-out cross-validation for any fixed $k$. These theoretical results, together with modern automatic differentiation software, support the application of the infinitesimal jackknife to a wide variety of practical problems in machine learning, providing a "Swiss Army infinitesimal jackknife". We demonstrate the accuracy of our methods on a range of simulated and real datasets.

研究动机与目标

• 解决大规模机器学习中重复模型重拟合带来的计算瓶颈问题。
• 开发一种实用的、快速的古典重采样方法替代方案，通过使用线性近似避免重复优化。
• 在可验证的温和正则性条件下，为无穷小jackknife提供有限样本理论保证。
• 仅通过一次扰动计算，实现对任意固定 $k$ 的留-$k$-出交叉验证的一致估计。
• 将该方法与现代自动微分工具集成，以支持在各类机器学习模型中的广泛适用性。

提出的方法

• 使用对模型依赖于数据权重的线性近似（即无穷小jackknife, IJ）来估计变异性，避免重复重拟合。
• 将IJ形式化为估计量在经验分布处的一阶泰勒展开，利用梯度和Hessian近似。
• 通过分析导数过程的复杂性，利用集中不等式和矩阵范数控制，推导出有限样本误差界。
• 应用Keener定理9.2和并集界，证明关键假设（有界梯度、Hessian可逆、Lipschitz连续性）在 $N \to \infty$ 时以高概率成立。
• 利用自动微分高效计算所需梯度和Hessian-向量积，实现端到端可微分和可扩展性。
• 在模拟数据和真实世界数据集（包括基因组学数据）上对方法进行实证验证，结果表明其相对于精确交叉验证在准确性和速度方面均表现优异。

实验结果

研究问题

• RQ1 在梯度无界的现代机器学习问题中，无穷小jackknife能否在有限样本下得到严格证明？
• RQ2 在何种条件下，无穷小jackknife能一致估计任意固定 $k$ 的留-$k$-出交叉验证？
• RQ3 如何在模型和数据的简单、可验证假设下，对无穷小jackknife的误差进行界定？
• RQ4 与经典重采样方法（如交叉验证和自助法）相比，无穷小jackknife的计算权衡如何？
• RQ5 在实践中，无穷小jackknife能否通过现代自动微分框架高效实现？

主要发现

• 无穷小jackknife相较于重复重拟合方法（如交叉验证和自助法）实现了高达一个数量级的速度提升。
• 在包括梯度范数有界性、Hessian可逆性以及梯度过程Lipschitz连续性在内的温和正则性条件下，建立了有限样本误差界。
• 该方法能一致估计任意固定 $k$ 的留-$k$-出交叉验证，且在 $N \to \infty$ 时以概率收敛。
• 随着样本量增加，关键假设（如Hessian可逆性、梯度有界性）成立的概率收敛于1。
• 在模拟数据和真实基因组学数据集上的实证评估证实了该方法相对于精确交叉验证的准确性与计算效率。
• 与自动微分的集成使得该方法能够无缝应用于各类可微机器学习模型，展现出广泛的实用价值。