[论文解读] A Higher-Order Swiss Army Infinitesimal Jackknife

Ryan Giordano, Michael I. Jordan+1 more|arXiv (Cornell University)|Jul 28, 2019

Machine Learning and Algorithms参考文献 24被引用 12

一句话总结

本文提出了高阶微小重抽样法（HOIJ），一种计算高效的机器学习方法，通过利用模型参数在原始数据权重附近的高阶泰勒展开，近似交叉验证和自助法估计。该方法提供了有限样本误差界，并通过前向模式自动微分实现高维计算，为昂贵的重新拟合过程提供了一种通用、精确的替代方案。

ABSTRACT

Cross validation (CV) and the bootstrap are ubiquitous model-agnostic tools for assessing the error or variability of machine learning and statistical estimators. However, these methods require repeatedly re-fitting the model with different weighted versions of the original dataset, which can be prohibitively time-consuming. For sufficiently regular optimization problems the optimum depends smoothly on the data weights, and so the process of repeatedly re-fitting can be approximated with a Taylor series that can be often evaluated relatively quickly. The first-order approximation is known as the "infinitesimal jackknife" in the statistics literature and has been the subject of recent interest in machine learning for approximate CV. In this work, we consider high-order approximations, which we call the "higher-order infinitesimal jackknife" (HOIJ). Under mild regularity conditions, we provide a simple recursive procedure to compute approximations of all orders with finite-sample accuracy bounds. Additionally, we show that the HOIJ can be efficiently computed even in high dimensions using forward-mode automatic differentiation. We show that a linear approximation with bootstrap weights approximation is equivalent to those provided by asymptotic normal approximations. Consequently, the HOIJ opens up the possibility of enjoying higher-order accuracy properties of the bootstrap using local approximations. Consistency of the HOIJ for leave-one-out CV under different asymptotic regimes follows as corollaries from our finite-sample bounds under additional regularity assumptions. The generality of the computation and bounds motivate the name "higher-order Swiss Army infinitesimal jackknife."

研究动机与目标

• 开发一种通用、快速的交叉验证与自助法近似方法，避免重复模型重新拟合。
• 将一阶微小重抽样法扩展至高阶泰勒近似，以提升精度。
• 在不依赖渐近假设的前提下，提供可从数据中计算的有限样本误差界。
• 通过前向模式自动微分，在高维设置中实现高效计算。
• 证明高阶近似可通过局部展开实现类似自助法的精度。

提出的方法

• 将模型估计量表述为方程组 G(θ, w) = 0 的解，其中 w 为数据权重。
• 利用方向导数，对 ˆθ(w) 在原始权重向量 1N 附近进行高阶泰勒级数展开。
• 开发一种递归算法，以计算任意所需阶数的泰勒系数。
• 利用前向模式自动微分高效计算雅可比-向量积与海森-向量积，避免存储大型导数数组。
• 基于高阶导数与权重扰动的大小，建立有限样本误差界。
• 将该方法应用于留一法交叉验证与自助法，证明在弱正则性条件下的一致性。

实验结果

研究问题

• RQ1 在原始数据权重附近对模型参数进行高阶泰勒近似，能否为交叉验证与自助法提供无需完整重新拟合的准确替代方案？
• RQ2 在不依赖渐近或随机假设的前提下，能否为这些高阶近似推导出有限样本误差界？
• RQ3 在高维参数空间中，如何高效计算高阶导数？
• RQ4 高阶微小重抽样法是否能在避免其计算成本的前提下，实现与自助法相当的精度？
• RQ5 在何种正则性条件下，HOIJ 对留一法交叉验证仍保持一致性？

主要发现

• 高阶微小重抽样法（HOIJ）为 ˆθ(w) 的近似提供了可从数据中计算的有限样本误差界，且无需渐近假设。
• 在弱正则性条件下，HOIJ 对留一法交叉验证具有一致性，其收敛速度与已知的渐近结果一致。
• 通过使用前向模式自动微分计算雅可比-向量积与海森-向量积，该方法在高维中实现了高效计算，无需存储大型矩阵。
• 线性近似结合自助权重被证明等价于渐近正态近似，验证了局部展开在自助法推断中的有效性。
• 计算高阶泰勒系数的递归算法简单且通用，支持任意阶数的近似。
• HOIJ 广义化了一阶微小重抽样法，为计算成本高昂的重抽样方法提供了一种实用、精确且可扩展的替代方案。