[논문 리뷰] A Swiss Army Infinitesimal Jackknife

Ryan Giordano, William Stephenson외 3명|arXiv (Cornell University)|2018. 06. 01.

Bayesian Modeling and Causal Inference인용 수 29

한 줄 요약

이 논문은 데이터 가중치에 대한 모델 피팅 민감도의 선형 근사인 무한소 잭나이프(infinitesimal jackknife)를 사용하여 교차검증과 부트스트랩에 대한 빠르고 유한표본 정확도가 보장되는 근사법을 제안한다. 자동 미분를 활용하고 약한 정규성 조건 하에서 명시적 오차 한계를 제공함으로써, 이 방법은 반복적인 최적화를 피하면서도 속도를 최대 한 계단 정도로 향상시키며, 임의의 고정된 $k$에 대해 떼어내기-$k$-아웃 교차검증을 일관되게 추정할 수 있게 하여 현대 기계학습에서 확장 가능한 불확실성 정량화를 가능하게 한다.

ABSTRACT

The error or variability of machine learning algorithms is often assessed by repeatedly re-fitting a model with different weighted versions of the observed data. The ubiquitous tools of cross-validation (CV) and the bootstrap are examples of this technique. These methods are powerful in large part due to their model agnosticism but can be slow to run on modern, large data sets due to the need to repeatedly re-fit the model. In this work, we use a linear approximation to the dependence of the fitting procedure on the weights, producing results that can be faster than repeated re-fitting by an order of magnitude. This linear approximation is sometimes known as the "infinitesimal jackknife" in the statistics literature, where it is mostly used as a theoretical tool to prove asymptotic results. We provide explicit finite-sample error bounds for the infinitesimal jackknife in terms of a small number of simple, verifiable assumptions. Our results apply whether the weights and data are stochastic or deterministic, and so can be used as a tool for proving the accuracy of the infinitesimal jackknife on a wide variety of problems. As a corollary, we state mild regularity conditions under which our approximation consistently estimates true leave-$k$-out cross-validation for any fixed $k$. These theoretical results, together with modern automatic differentiation software, support the application of the infinitesimal jackknife to a wide variety of practical problems in machine learning, providing a "Swiss Army infinitesimal jackknife". We demonstrate the accuracy of our methods on a range of simulated and real datasets.

연구 동기 및 목표

• 대규모 기계학습에서 반복적인 모델 재적합으로 인한 계산적 병목 현상을 해결한다.
• 반복 최적화를 피하는 선형 근사를 사용하여 고전적 부표본 추출 방법의 실용적이고 빠른 대안을 개발한다.
• 검증 가능한 약한 정규성 조건 하에서 무한소 잭나이프의 유한표본 이론적 보장을 제공한다.
• 단 한 번의 변형 계산을 통해 임의의 고정된 $k$에 대해 떼어내기-$k$-아웃 교차검증을 일관되게 추정할 수 있도록 한다.
• 현대 자동 미분 도구와 통합하여 다양한 기계학습 모델에 광범위하게 적용 가능한 가능성을 확보한다.

제안 방법

• 모델의 데이터 가중치에 대한 의존성에 대한 선형 근사를 사용하여 반복적 재적합 없이 변동성을 추정한다. 이를 무한소 잭나이프(IJ)라고 한다.
• 추정량을 경험 분포 주변의 일阶 테일러 전개로 공식화하여 기울기와 헤시안 근사치를 사용한다.
• 도함수 과정의 복잡도를 분석하여 유한표본 오차 한계를 유도하며, 농도 부등식과 행렬 노름 제어를 활용한다.
• Keener의 정리 9.2와 유니온 바운드를 적용하여, 헤시안의 가역성, 기울기의 유계성, 기울기 과정의 리프시츠 연속성과 같은 핵심 가정들이 $N \to \infty$일 때 높은 확률로 성립함을 보인다.
• 요구되는 기울기와 헤시안-벡터 곱을 효율적으로 계산하기 위해 자동 미분를 활용하여 종단 간 미분 가능성과 확장 가능성을 확보한다.
• 모의 및 실제 데이터 세트(유전체학 데이터 포함)에서 방법을 실증적으로 검증하여 정확성과 정확성의 우수함을 입증한다.

실험 결과

연구 질문

• RQ1 기울기의 유계성이 보장되지 않는 현대 기계학습 문제에서 무한소 잭나이프는 유한표본에서 엄밀히 정당화될 수 있는가?
• RQ2 무한소 잭나이프가 어떤 조건에서 임의의 고정된 $k$에 대해 떼어내기-$k$-아웃 교차검증을 일관되게 추정할 수 있는가?
• RQ3 모델과 데이터에 대한 단순하고 검증 가능한 가정들로 무한소 잭나이프의 오차를 어떻게 한정할 수 있는가?
• RQ4 무한소 잭나이프와 교차검증, 부트스트랩과 같은 고전적 부표본 추출 방법 사이의 계산적 트레이드오프는 어떠한가?
• RQ5 현대 자동 미분 프레임워크를 사용하여 무한소 잭나이프를 실용적으로 효율적으로 구현할 수 있는가?

주요 결과

• 무한소 잭나이프는 교차검증과 부트스트랩과 같은 반복적 재적합 방법보다 최대 한 계단의 속도 향상을 달성한다.
• 기울기 노름의 유계성, 헤시안의 가역성, 기울기 과정의 리프시츠 연속성과 같은 약한 정규성 조건 하에서 유한표본 오차 한계가 확립된다.
• 모든 고정된 $k$에 대해 떼어내기-$k$-아웃 교차검증을 일관되게 추정하며, $N \to \infty$일 때 확률적 수렴이 성립한다.
• 핵심 가정들(예: 헤시안의 가역성, 기울기의 유계성)이 성립할 확률은 표본 크기가 증가함에 따라 1로 수렴한다.
• 모의 및 실제 유전체학 데이터 세트에서의 실증 평가를 통해 정확성과 계산 효율성이 정확한 교차검증에 비해 확인되었다.
• 자동 미분와의 통합은 다양한 미분 가능한 기계학습 모델에 대한 원활한 적용을 가능하게 하여 광범위한 실용적 유용성을 보장한다.