[論文レビュー] A Higher-Order Swiss Army Infinitesimal Jackknife

Ryan Giordano, Michael I. Jordan+1 more|arXiv (Cornell University)|Jul 28, 2019

Machine Learning and Algorithms参考文献 24被引用数 12

ひとこと要約

本稿では、元のデータ重みの周囲におけるモデルパラメータの高次テイラー展開を活用することで、機械学習における交差検証およびブートストラップ推定の計算効率の良い近似手法として、Higher-Order Infinitesimal Jackknife (HOIJ) を導入する。有限標本における誤差バインディングを提供し、前向きモードの自動微分を用いて高次元計算を可能にし、高価な再適合手順の一般用途で正確な代替手段を提供する。

ABSTRACT

Cross validation (CV) and the bootstrap are ubiquitous model-agnostic tools for assessing the error or variability of machine learning and statistical estimators. However, these methods require repeatedly re-fitting the model with different weighted versions of the original dataset, which can be prohibitively time-consuming. For sufficiently regular optimization problems the optimum depends smoothly on the data weights, and so the process of repeatedly re-fitting can be approximated with a Taylor series that can be often evaluated relatively quickly. The first-order approximation is known as the "infinitesimal jackknife" in the statistics literature and has been the subject of recent interest in machine learning for approximate CV. In this work, we consider high-order approximations, which we call the "higher-order infinitesimal jackknife" (HOIJ). Under mild regularity conditions, we provide a simple recursive procedure to compute approximations of all orders with finite-sample accuracy bounds. Additionally, we show that the HOIJ can be efficiently computed even in high dimensions using forward-mode automatic differentiation. We show that a linear approximation with bootstrap weights approximation is equivalent to those provided by asymptotic normal approximations. Consequently, the HOIJ opens up the possibility of enjoying higher-order accuracy properties of the bootstrap using local approximations. Consistency of the HOIJ for leave-one-out CV under different asymptotic regimes follows as corollaries from our finite-sample bounds under additional regularity assumptions. The generality of the computation and bounds motivate the name "higher-order Swiss Army infinitesimal jackknife."

研究の動機と目的

• 再適合手順を繰り返し行うことを避ける一般用途で使える高速な交差検証およびブートストラップの近似手法を開発すること。
• 第一階層の無限小ジャックナイフを高次テイラー近似に拡張し、精度を向上させること。
• 漸近的仮定に依存せず、データから計算可能な有限標本における誤差バインディングを提供すること。
• 前向きモードの自動微分を用いて高次元設定でも効率的な計算を可能にすること。
• 高次近似が局所的展開を用いてブートストラップに匹敵する精度を達成できることを示すこと。

提案手法

• モデル推定量を、w がデータ重みである方程式系 G(θ, w) = 0 の解として定式化する。
• 元の重みベクトル 1N の周囲における ˆθ(w) の高次テイラー展開を方向微分を用いて導出する。
• 任意の所望の次数までテイラー係数を計算する再帰的アルゴリズムを開発する。
• ヤコビアン・ベクトル積およびヘッシアン・ベクトル積を効率的に計算するため、前向きモードの自動微分を用い、大きな導関数配列の保存を回避する。
• 高次導関数と重み摂動の大きさに基づく有限標本における誤差バインディングを確立する。
• この手法をLOO-CVおよびブートストラップに適用し、ややきつい正則性条件の下で一貫性を示す。

実験結果

リサーチクエスチョン

• RQ1 元のデータ重みの周囲におけるモデルパラメータの高次テイラー近似は、交差検証およびブートストラップにおける完全な再適合の代替として、正確な代替手段を提供できるか？
• RQ2 漸近的または確率的仮定に依存せず、これらの高次近似に対して得られる有限標本における誤差バインディングは何か？
• RQ3 高次元パrameter空間において、高次導関数を効率的に計算する方法は何か？
• RQ4 高次無限小ジャックナイフは、計算コストを回避しながらも、ブートストラップに匹敵する精度を達成できるか？
• RQ5 どのような正則性条件下で、HOIJはLOO-CVに対して一貫性を保つのか？

主な発見

• 高次無限小ジャックナイフ（HOIJ）は、漸近的仮定に依存せず、データセットから計算可能な ˆθ(w) の近似の有限標本における誤差バインディングを提供する。
• ややきつい正則性条件下で、HOIJはLOO-CVに対して一貫性を示し、既知の漸近的結果と一致する収束速度を達成する。
• ヤコビアンおよびヘッシアン・ベクトル積を大きな行列を保存せずに効率的に計算できる前向きモードの自動微分を用いることで、高次元における効率的計算が可能になる。
• ブートストラップ重みを用いた線形近似が漸近的正規近似と等価であることが示され、局所的展開を用いたブートストラップに類似た推論の有効性が裏付けられる。
• 高次テイラー係数を計算する再帰的アルゴリズムは単純で汎用的であり、任意の次数の近似をサポートする。
• HOIJは第一階層の無限小ジャックナイフを一般化し、計算コストの高いリサンプリング手法に対する実用的で正確かつスケーラブルな代替手段を提供する。