[논문 리뷰] Uncertainty Estimation with Infinitesimal Jackknife, Its Distribution and Mean-Field Approximation

Zhiyun Lu, Eugene Ie외 1명|arXiv (Cornell University)|2020. 06. 13.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 9

한 줄 요약

이 논문은 딥러닝에서의 불확실성 추정을 위한 계산적으로 효율적인 플러그인 방법인 평균장 무한소 분할법(mfIJ)을 제안한다. 이 방법은 재학습 없이 무한소 분할법을 활용해 재학습이 필요 없는 폐쇄형 가우시안 가짜 앙상블을 생성하며, 이는 재학습 없이도 빠르고 정확한 불확실성 정량화를 가능하게 한다. 특히 분포 외 검출에서 우수한 성능을 보이며, 앙상블나 베이지안 신경망의 학습 및 추론 비용을 피한다.

ABSTRACT

Uncertainty quantification is an important research area in machine learning. Many approaches have been developed to improve the representation of uncertainty in deep models to avoid overconfident predictions. Existing ones such as Bayesian neural networks and ensemble methods require modifications to the training procedures and are computationally costly for both training and inference. Motivated by this, we propose mean-field infinitesimal jackknife (mfIJ) -- a simple, efficient, and general-purpose plug-in estimator for uncertainty estimation. The main idea is to use infinitesimal jackknife, a classical tool from statistics for uncertainty estimation to construct a pseudo-ensemble that can be described with a closed-form Gaussian distribution, without retraining. We then use this Gaussian distribution for uncertainty estimation. While the standard way is to sample models from this distribution and combine each sample's prediction, we develop a mean-field approximation to the inference where Gaussian random variables need to be integrated with the softmax nonlinear functions to generate probabilities for multinomial variables. The approach has many appealing properties: it functions as an ensemble without requiring multiple models, and it enables closed-form approximate inference using only the first and second moments of Gaussians. Empirically, mfIJ performs competitively when compared to state-of-the-art methods, including deep ensembles, temperature scaling, dropout and Bayesian NNs, on important uncertainty tasks. It especially outperforms many methods on out-of-distribution detection.

연구 동기 및 목표

• 재학습 없이도 계산적으로 효율적이고 일반적인 목적의 불확실성 추정 방법을 개발한다.
• 베이지안 신경망과 딥 앙상블와 같은 기존 방법들이 학습 및 추론 모두에서 높은 계산 비용을 유발하는 문제를 해결한다.
• 가우시안 분포의 1차 및 2차 모멘트만을 사용하여 폐쇄형 불확실성 추정을 가능하게 한다.
• 분포 외 탐지에서의 성능을 향상시켜, 불확실성 정량화의 핵심 과제인 분포 이탈에 대한 저항성을 높인다.
• 기존 모델에 대한 아키텍처나 학습 절차의 수정 없이도 높은 정확도를 유지하면서 앙상블 및 베이지안 방법의 실용적 대안을 제공한다.

제안 방법

• 이 방법은 단일 학습된 모델에서 재학습 없이 무한소 분할법을 활용해 가짜 앙상블을 구성한다.
• 가짜 앙상블을 모델의 기울기로부터 유도된 폐쇄형 평균 및 공분산을 갖는 가우시안 분포로 모델링한다.
• 소프트맥스 함수를 통해 가우시안 랜덤 변수를 해석적으로 통합하기 위해 평균장 근사를 적용한다.
• 가우시안 입력 분포 하에서 소프트맥스 출력의 기대값을 계산하기 위해 1차 및 2차 모멘트만을 사용하여 불확실성 추정을 수행한다.
• 표본 추출을 피하기 위해 예측 분산과 불확실성에 대한 해석적 표현을 유도함으로써 추론 비용을 크게 감소시킨다.
• 모델의 가중치와 기울기 접근만으로도 가능하므로, 아키텍처나 학습 절차의 변경 없이 즉시 사용 가능한 플러그인 방식이다.

실험 결과

연구 질문

• RQ1 무한소 분할법에서 표본 추출과 재학습을 피할 수 있는 폐쇄형 불확실성 추정기법을 유도할 수 있는가?
• RQ2 소프트맥스 통합에 대한 평균장 근사가 표본 기반 방법에 비해 불확실성 추정 정확도에 어떤 영향을 미치는가?
• RQ3 이 방법은 앙상블이나 베이지안 추론을 사용하지 않고도 분포 외 탐지에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 온도 스케일링, 드롭아웃, 베이지안 신경망과 비교해 mfIJ는 불확실성 校정 및 내성에 있어 어떤가?
• RQ5 이 플러그인 프레임워크에서 계산 효율성과 불확실성 품질 사이의 상충 관계는 어떠한가?

주요 결과

• mfIJ는 딥 앙상블 및 베이지안 신경망과 같은 최첨단 방법과 비교해 경쟁적인 불확실성 校정 및 예측 성능을 달성한다.
• 이 방법은 많은 베이스라인에 비해 분포 외 탐지에서 뚜렷한 우월성을 보이며, 분포 이탈에 대한 저항성이 뛰어나다.
• 평균장 근사를 통해 표본 추출 없이도 폐쇄형 추론이 가능해져 추론 시간과 계산 비용을 크게 감소시킨다.
• 단일 순방향 전파 및 기울기 계산만으로도 고수준의 불확실성 품질을 유지하며, 실세계 적용에 매우 실용적이다.
• 재학습이나 아키텍처 변경 없이도 어떤 사전 학습된 딥러닝 모델과도 호환되는 플러그인 솔루션을 제공한다.
• 실험 결과는 이 방법이 분포 내 및 분포 외 설정 모두에서 효과적으로 불확실성을 포착함을 확인하며, 특히 OOD 탐지 작업에서 뛰어난 성능을 보인다.