[논문 리뷰] Can You Trust This Prediction? Auditing Pointwise Reliability After Learning

Peter Schulam, Suchi Saria|arXiv (Cornell University)|2019. 01. 02.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 37

한 줄 요약

이 논문은 Resampling Uncertainty Estimation (RUE)를 도입하며, 학습 후에 그라디언트와 Hessian 정보를 사용해 부트스트랩과 유사한 재샘플링을 근사화해 예측별 신뢰성을 정량하는 감사 방법입니다. RUE는 여러 포스트-호크(post-hoc) 방법보다 불완전한 예측을 더 효과적으로 탐지하고, 학습 절차를 변경하지 않고도 경쟁력 있는 예측 분포를 제공합니다.

ABSTRACT

To use machine learning in high stakes applications (e.g. medicine), we need tools for building confidence in the system and evaluating whether it is reliable. Methods to improve model reliability often require new learning algorithms (e.g. using Bayesian inference to obtain uncertainty estimates). An alternative is to audit a model after it is trained. In this paper, we describe resampling uncertainty estimation (RUE), an algorithm to audit the pointwise reliability of predictions. Intuitively, RUE estimates the amount that a prediction would change if the model had been fit on different training data. The algorithm uses the gradient and Hessian of the model's loss function to create an ensemble of predictions. Experimentally, we show that RUE more effectively detects inaccurate predictions than existing tools for auditing reliability subsequent to training. We also show that RUE can create predictive distributions that are competitive with state-of-the-art methods like Monte Carlo dropout, probabilistic backpropagation, and deep ensembles, but does not depend on specific algorithms at train-time like these methods do.

연구 동기 및 목표

• 전통적인 held-out 오차 지표를 넘어서는 고-stakes ML 응용에서 신뢰성 도구의 필요성을 시사합니다.
• 재학습 없이 각 예측의 불확실성을 추정하는 포스트 러닝 auditing 방법으로 RUE를 도입합니다.
• 모델 의존적 유사성 측정치를 사용하여 RUE가 밀도 및 로컬 적합 신뢰성 기준에 부합함을 보입니다.
• RUE가 잘못된 예측 탐지와 경쟁력 있는 예측 분포 생성을 달성하는지 시연합니다.

제안 방법

• 부트스트랩과 유사한 절차를 통해 생성된 매개변수 앙상블에서 각 테스트 입력에 대한 불확실성 점수를 계산합니다.
• 훈련 손실의 그래디언트와 해시안을 사용해 부트스트랩 가중치에서 업데이트된 매개변수로의 근사 맵을 형성합니다(A = H̃^{-1}L).
• 다항적 분포에서 부트스트랩 유사 가중치 벡터 w를 추출하고 파라미터 샘플 θ* = θ̂ − A(w − w0)을 만듭니다.
• 각 θ*에 대해 테스트 입력을 예측하여 앙상블을 형성하고 열 방향 예측 분산을 불확실성 점수 σ̂_RUE^2(x)로 계산합니다.
• 역행렬성을 보장하기 위해 Hessian을 λI로 약폭하고, 부트스트랩, Laplace 근사화, 강건 통계와의 연결을 논의합니다.
• σ̂_RUE^2(x)를 입력 유사성을 그래디언트와 곡률로 인코딩하는 모델 의존 커널 k_RUE와 연결합니다.

실험 결과

연구 질문

• RQ1 포스트-학습 auditing이 학습 절차를 바꾸지 않고도 예측의 점별 신뢰성을 드러낼 수 있는가?
• RQ2 RUE 기반 불확실성 점수가 기존의 포스트-호크 방법들(Laplace, KDE, Bootstrap SGD)과 비교하여 잘못된 예측 탐지에 얼마나 효과적인가?
• RQ3 RUE가 불확실성 목표를 가진 통합 불확실성 방법과 경쟁력 있는 예측 분포를 생성할 수 있는가?
• RQ4 RUE와 부트스트랩, 강건 통계 간의 이론적 연결은 무엇이며 경험적으로 어떻게 나타나는가?

주요 결과

• RUE는 대부분의 데이터셋과 오차 임계값에서 Laplace, KDE, Bootstrap SGD보다 부정확한 예측을 더 효과적으로 탐지합니다.
• 학습 절차를 바꾸지 않아도 RUE가 최첨단 통합 방법과 경쟁력 있는 예측 분포를 생성할 수 있습니다.
• RUE의 불확실성 점수는 모델 의존적 내부곱을 통해 밀도 및 로컬 적합 기준을 구현하여 유클리드 거리 기반 접근보다 해석 가능성을 높입니다.
• RUE는 Bayesian나 앙상블 방법이 요구하는 학습 시간 알고리즘 의존성 없이 표준 학습 파이프라인과 함께 사용할 수 있는 실용적인 감사 도구를 제공합니다.
• 논문은 확장성 고려와 Hessian-벡터 곱, 약화 및 가능한 근사치와 같은 실제 배포를 위한 전략을 논의합니다.