[논문 리뷰] Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions

Ahmed M. Alaa, Mihaela van der Schaar|arXiv (Cornell University)|2020. 06. 29.

Anomaly Detection Techniques and Applications인용 수 12

한 줄 요약

이 논문은 딥러닝에서 유의미한 커버리지와 분류 성능을 동시에 만족하는 충실한 신뢰구간을 구성하는 후행적, 모델 독립적인 방법인 Discriminative Jackknife(DJ)을 소개한다. 이는 재학습 없이도 이탈한 하나의 학습 포인트에 대한 모델 행동을 높은 차수의 影響함수를 활용해 근사함으로써 정확한 불확실성 정량화를 달성하며, 커버리지와 분류 성능에 이론적 보장을 제공한다.

ABSTRACT

Deep learning models achieve high predictive accuracy across a broad spectrum of tasks, but rigorously quantifying their predictive uncertainty remains challenging. Usable estimates of predictive uncertainty should (1) cover the true prediction targets with high probability, and (2) discriminate between high- and low-confidence prediction instances. Existing methods for uncertainty quantification are based predominantly on Bayesian neural networks; these may fall short of (1) and (2) -- i.e., Bayesian credible intervals do not guarantee frequentist coverage, and approximate posterior inference undermines discriminative accuracy. In this paper, we develop the discriminative jackknife (DJ), a frequentist procedure that utilizes influence functions of a model's loss functional to construct a jackknife (or leave-one-out) estimator of predictive confidence intervals. The DJ satisfies (1) and (2), is applicable to a wide range of deep learning models, is easy to implement, and can be applied in a post-hoc fashion without interfering with model training or compromising its accuracy. Experiments demonstrate that DJ performs competitively compared to existing Bayesian and non-Bayesian regression baselines.

연구 동기 및 목표

• 딥러닝 모델에서 커버리지와 분류 성능을 동시에 만족하는 엄밀한 충실한 불확실성 정량화의 부족을 해결하기 위해.
• 모델 학습을 수정하지 않으면서도 유효한 신뢰구간을 제공하는 방법을 개발하기 위해.
• 드롭아웃 기반 모델에서의 애매한 사후분포와 열악한 충실한 커버리지 문제를 해결하기 위해.
• 다양한 딥러닝 아키텍처에 적용 가능한 후행적 방식으로 불확실성 추정을 가능하게 하기 위해.
• 불확실성 추정이 통계적으로 타당한(커버리지) 동시에 높은 신뢰도 대비 낮은 신뢰도 예측을 효과적으로 식별하는 데 의미 있는지 보장하기 위해.

제안 방법

• 모델 재학습 없이도 개별 학습 포인트를 제거했을 때의 영향을 영향함수를 활용해 추정함으로써, 모델 예측에 미치는 영향을 추정한다.
• 이차 von Mises 전개를 사용하여 고차수의 影響함수(HOIFs)를 활용해 이탈한 하나의 학습 포인트에 대한 모델 파라미터를 근사한다.
• HOIFs는 Koh & Liang(2017)의 일차 영향함수 방법을 확장한 근사 공식을 통해 계산된다.
• 지역 예측 분산과 평균 LOO 오차 잔차를 조합하여 간격 너비를 조정함으로써, 신뢰구간을 구성한다.
• 모델 학습 후 적용되기 때문에, 어떤 미분 가능한 딥러닝 모델과도 호환되며 모델 독립적이다.
• 특성 기반의 불확실성에 기반해 간격 너비를 校정함으로써, 이론적 충실한 커버리지와 분류 성능 보장을 확보한다.

실험 결과

연구 질문

• RQ1 후행적 방법이 딥러닝에서 높은 커버리지와 강력한 분류 성능을 동시에 만족하는 충실한 신뢰구간을 제공할 수 있는가?
• RQ2 영향함수를 고차수로 확장하여 재학습 없이도 정확하게 이탈한 하나의 학습 포인트에 대한 모델 행동을 근사할 수 있는가?
• RQ3 제안된 방법의 성능이 커버리지, 분류 성능, 예측 정확도 측면에서 베이지안 및 비베이지안 기준 모델과 비교해 어떻게 되는가?
• RQ4 높은 예측 정확도를 유지하면서도 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ5 아키텍처 수정 없이도 다양한 딥러닝 아키텍처와 데이터셋에 일반화 가능한가?

주요 결과

• Discriminative Jackknife는 네 개의 UCI 회귀 데이터셋 전부에서 목표 커버리지율 90%를 달성했으며, 커버리지가 낮은 PBP와 BNN과 같은 베이지안 기준 모델보다 뛰어난 성능을 보였다.
• 네 개의 데이터셋 중 세 곳에서 가장 높은 AUPRC 점수를 기록하여, 높은 신뢰도 예측과 낮은 신뢰도 예측을 효과적으로 분류하는 데 강력한 성능을 보였다.
• Kin8nm 데이터셋에서 DJ는 95% 신뢰구간 내 커버리지율 93.77%를 기록했으며, 모든 방법 중 가장 낮은 MSE(0.00)를 유지했다.
• Yacht 데이터셋에서 DJ는 MCDP보다 AUPRC와 MSE 모두에서 뛰어난 성능을 보여, 불확실성 품질과 예측 정확도 사이의 균형을 더 잘 확보했다.
• 모든 데이터셋에서 가장 낮은 MSE를 유지하며 높은 예측 정확도를 확보했으며, 이는 후행적 성격이 모델 성능을 떨어뜨리지 않음을 확인한다.
• 모든 테스트 세트에서 유효한 신뢰구간을 제공했으며, PBP와 DE는 의미 있는 AUPRC 점수를 확보하지 못해 무작위 수준의 성능을 보였다.