[논문 리뷰] A Higher-Order Swiss Army Infinitesimal Jackknife

Ryan Giordano, Michael I. Jordan외 1명|arXiv (Cornell University)|2019. 07. 28.

Machine Learning and Algorithms참고 문헌 24인용 수 12

한 줄 요약

이 논문은 기존 데이터 가중치 주변에서 모델 파ameters의 고차수 테일러 전개를 활용하여 머신러닝에서 교차검증 및 부트스트랩 추정치를 계산적으로 효율적으로 근사하는 데 사용되는 고차수 무한소 재귀법(HOIJ)을 소개한다. 유한 표본 오차 경계를 제공하며, 전방 모드 자동 미분을 통해 고차원 계산을 가능하게 하여 반복적 모델 재적합 절차의 비용이 큰 대체 방법을 제공한다.

ABSTRACT

Cross validation (CV) and the bootstrap are ubiquitous model-agnostic tools for assessing the error or variability of machine learning and statistical estimators. However, these methods require repeatedly re-fitting the model with different weighted versions of the original dataset, which can be prohibitively time-consuming. For sufficiently regular optimization problems the optimum depends smoothly on the data weights, and so the process of repeatedly re-fitting can be approximated with a Taylor series that can be often evaluated relatively quickly. The first-order approximation is known as the "infinitesimal jackknife" in the statistics literature and has been the subject of recent interest in machine learning for approximate CV. In this work, we consider high-order approximations, which we call the "higher-order infinitesimal jackknife" (HOIJ). Under mild regularity conditions, we provide a simple recursive procedure to compute approximations of all orders with finite-sample accuracy bounds. Additionally, we show that the HOIJ can be efficiently computed even in high dimensions using forward-mode automatic differentiation. We show that a linear approximation with bootstrap weights approximation is equivalent to those provided by asymptotic normal approximations. Consequently, the HOIJ opens up the possibility of enjoying higher-order accuracy properties of the bootstrap using local approximations. Consistency of the HOIJ for leave-one-out CV under different asymptotic regimes follows as corollaries from our finite-sample bounds under additional regularity assumptions. The generality of the computation and bounds motivate the name "higher-order Swiss Army infinitesimal jackknife."

연구 동기 및 목표

• 반복적 모델 재적합을 피하는 일반 목적의 빠른 근사 방법을 개발하기 위해.
• 일차 무한소 재귀법을 고차수 테일러 근사로 확장하여 정확도를 향상시키기 위해.
• 점근적 가정 없이 데이터로부터 계산 가능한 유한 표본 오차 경계를 제공하기 위해.
• 전방 모드 자동 미분을 사용하여 고차원 설정에서 효율적인 계산을 가능하게 하기 위해.
• 고차수 근사가 局소 전개를 통해 부트스트랩과 유사한 정확도를 달성할 수 있는지 보여주기 위해.

제안 방법

• 모델 추정량을 G(θ, w) = 0의 방정식계의 해로 정의한다. 여기서 w는 데이터 가중치이다.
• 원래 가중치 벡터 1N 주변에서 ˆθ(w)의 고차수 테일러 급수 전개를 방향도수를 이용해 유도한다.
• 임의의 원하는 차수까지의 테일러 계수를 계산하기 위한 재귀 알고리즘을 개발한다.
• 전방 모드 자동 미분을 사용하여 자코비안-벡터 곱과 헤시안-벡터 곱을 효율적으로 계산함으로써 큰 도함수 배열의 저장을 피한다.
• 고차수 도함수와 가중치 변화의 크기를 기반으로 유한 표본 오차 경계를 설정한다.
• 이 방법을 이탈한 한 개의 교차검증 및 부트스트랩에 적용하여 온건한 정규성 조건 하에서 일致성을 보인다.

실험 결과

연구 질문

• RQ1 기존 데이터 가중치 주변에서 모델 파ameters의 고차수 테일러 근사가 교차검증 및 부트스트랩에서 전체 재적합을 대체할 수 있는가?
• RQ2 점근적 또는 확률적 가정 없이 이러한 고차수 근사에 대해 도출할 수 있는 유한 표본 오차 경계는 무엇인가?
• RQ3 고차원 파ameter 공간에서 고차수 도함수를 효율적으로 계산할 수 있는 방법은 무엇인가?
• RQ4 고차수 무한소 재귀법은 계산 비용을 피하면서도 부트스트랩 수준의 정확도를 달성할 수 있는가?
• RQ5 HOIJ가 이탈한 한 개의 교차검증에서 일치성을 유지하기 위한 정규성 조건은 무엇인가?

주요 결과

• 고차수 무한소 재귀법(HOIJ)은 점근적 가정 없이 데이터셋에서 계산 가능한 ˆθ(w) 근사에 대한 유한 표본 오차 경계를 제공한다.
• HOIJ는 온건한 정규성 조건 하에서 이탈한 한 개의 교차검증에서 일치성을 보이며, 수렴 속도가 알려진 점근적 결과와 일치한다.
• 전방 모드 자동 미분을 사용하여 자코비안-벡터 곱과 헤시안-벡터 곱을 저장할 필요 없이 고차원에서 효율적인 계산을 가능하게 한다.
• 부트스트랩 가중치를 사용한 선형 근사는 점근적 정규 근사와 동일하므로, 국소 전개를 통한 부트스트랩 유사 추론의 타당성을 검증한다.
• 고차수 테일러 계수를 계산하기 위한 재귀 알고리즘은 단순하고 일반적이며 임의의 차수의 근사를 지원한다.
• HOIJ는 일차 무한소 재귀법을 일반화하며, 계산 비용이 큰 리샘플링 방법에 대한 실용적이고 정확하며 확장 가능한 대체 방법을 제공한다.