[논문 리뷰] Predictive Inference Is Free with the Jackknife+-after-Bootstrap

Byol Kim, Xu Chen외 1명|arXiv (Cornell University)|2020. 02. 20.

Machine Learning and Data Classification참고 문헌 37인용 수 32

한 줄 요약

잭나이프+-애프터 부트스트랩(J+aB)을 소개합니다. 이는 앙상블 예측기에 대한 계산적으로 효율적인 래퍼로, 분포에 독립적인 예측 구간을 보장된 커버리지 1−2α 이상으로 제공하며, 단일 앙상블 예측에 가까운 비용을 수반합니다.

ABSTRACT

Ensemble learning is widely used in applications to make predictions in complex decision problems---for example, averaging models fitted to a sequence of samples bootstrapped from the available training data. While such methods offer more accurate, stable, and robust predictions and model estimates, much less is known about how to perform valid, assumption-lean inference on the output of these types of procedures. In this paper, we propose the jackknife+-after-bootstrap (J+aB), a procedure for constructing a predictive interval, which uses only the available bootstrapped samples and their corresponding fitted models, and is therefore "free" in terms of the cost of model fitting. The J+aB offers a predictive coverage guarantee that holds with no assumptions on the distribution of the data, the nature of the fitted model, or the way in which the ensemble of models are aggregated---at worst, the failure rate of the predictive interval is inflated by a factor of 2. Our numerical experiments verify the coverage and accuracy of the resulting predictive intervals on real data.

연구 동기 및 목표

• 앙상블 학습 출력에 대해 유효하고 가정에 구애받지 않는 예측 추론을 동기화합니다.
• 분포 가정이 필요 없는 예측 구간으로 앙상블 방법을 래핑합니다.
• 아웃오브배그(ob out-of-bag) 관찰치를 재사용하여 계산 효율성을 유지합니다.
• 실자료에서 유한 샘플 커버리지 보장 및 실증 검증을 제공합니다.

제안 방법

• 기본 회귀 알고리즘과 집계 함수에 대한 래퍼로서 jackknife+-after-bootstrap(J+aB)을 제안합니다.
• 추가 기본 모델 호출 없이 leave-one-out 예측을 얻기 위해 Out-of-bag 모델을 재사용합니다(알고리즘 2).
• 공연 예측 구간을 joint quantile 기반 방식으로 계산합니다: 각 x에서 C_alpha,n,B(x) = [q_{alpha,n}^{-} { mu_phi\textbackslash i (x) - R_i }, q_{alpha,n}^{+} { mu_phi\textbackslash i (x) + R_i }], 여기서 R_i = |Y_i - mu_phi\textbackslash i (X_i)|.
• 계산 비용은 O(B) 기본 모델 호출로, 단일 앙상블 예측의 비용과 일치합니다.
• 교환가능성을 회복하고 분포 독립성 보장을 가능하게 하는 Binomial(B) 드로우를 사용하여 대칭 보정 버전을 제공합니다.
• 이론적 보장: IID 데이터 및 대칭성 가정하에 P(Y_{n+1} ∈ C_alpha,n,B^{J+aB}(X_{n+1})) ≥ 1−2α (유한 샘플, 비점근적).

실험 결과

연구 질문

• RQ1 앙상블 예측기 래퍼가 강한 모델링 가정 없이도 유효하고 분포 독립적인 예측 구간을 제공할 수 있는가?
• RQ2 J+aB의 적용에서 커버리지 보장과 그 한계는 유한 샘플에서 어떠한가?
• RQ3 단일 앙상블 패스와 비슷한 계산 효율성을 유지하면서 소비자 친화적인 예측 구간을 제공할 수 있는가?
• RQ4 다양한 기본 학습기와 함께 실제 데이터 집합에서 J+aB가 어떻게 수행하는가?

주요 결과

• J+aB 구간은 세 개의 실제 데이터 세트에서 명목 수준 1−α에 근접한 커버리지를 달성합니다.
• 이론적 보장은 1−2α의 분포 독립적인 하한을 보이며 worst-case에서 유한 샘플이며 어떤 n과 분포에 대해도 유효합니다.
• J+aB의 계산 비용은 단일 앙상블 예측 생성과 동등하여 추가 모델 학습 측면에서 사실상 '무료'에 가깝습니다.
• 실험 결과는 J+aB 구간이 정보성이 있으며 불안정한 기본 학습기(예: Random Forest)가 안정적인 것(Ridge)보다 구간이 더 좁아지는 경향이 있음을 시사합니다.
• J+aB는 비용 면에서 대안 J+ensemble보다 우수하며 커버리지와 구간 품질도 유사하게 제공합니다.
• 이 방법은 다양한 conformity 측정치(잔차, 분위수 회귀, 가중 잔차) 및 서로 다른 집계와 호환됩니다.