[논문 리뷰] Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation

Zhiyun Lu, Eugene Ie외 1명|arXiv (Cornell University)|2020. 06. 13.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 5

한 줄 요약

이 논문은 다수의 모델을 훈련하지 않고 앙상블 성능을 담달하는 단일 모델 불확실성 추정 방법을 제안한다. 이 방법은 가우시안 가중 소프트맥스 출력의 적분을 평균장 근사로 근사하여, 가우시안-소프트맥스 적분에 대한 분석적 근사를 가능하게 한다. 이는 깊은 앙상블의 계산 비용 없이도 성능을 달성한다. 첫 번째 및 두 번째 모멘트를 활용하여 불확실성 정량화와 분포 외 탐지에서 경쟁력 있는 성능을 달성하며, 온도 스케일링 및 드롭아웃과 같은 기존 방법보다 뛰어나지만 깊은 앙상블의 계산 비용을 피한다.

ABSTRACT

Many methods have been proposed to quantify the predictive uncertainty associated with the outputs of deep neural networks. Among them, ensemble methods often lead to state-of-the-art results, though they require modifications to the training procedures and are computationally costly for both training and inference. In this paper, we propose a new single-model based approach. The main idea is inspired by the observation that we can "simulate" an ensemble of models by drawing from a Gaussian distribution, with a form similar to those from the asymptotic normality theory, infinitesimal Jackknife, Laplacian approximation to Bayesian neural networks, and trajectories in stochastic gradient descents. However, instead of using each model in the "ensemble" to predict and then aggregating their predictions, we integrate the Gaussian distribution and the softmax outputs of the neural networks. We use a mean-field approximation formula to compute this analytically intractable integral. The proposed approach has several appealing properties: it functions as an ensemble without requiring multiple models, and it enables closed-form approximate inference using only the first and second moments of the Gaussian. Empirically, the proposed approach performs competitively when compared to state-of-the-art methods, including deep ensembles, temperature scaling, dropout and Bayesian NNs, on standard uncertainty estimation tasks. It also outperforms many methods on out-of-distribution detection.

연구 동기 및 목표

• 딥 네트워크의 불확실성 추정을 위한 계산 비용이 적은 깊은 앙상블 방법의 대안을 개발한다.
• 모델 가중치의 일차 및 이차 모멘트만을 사용하여 폐형 근사 추론을 가능하게 하여, 여러 모델을 저장하거나 평가할 필요 없이 구현한다.
• 이론적 기반을 제공하기 위해 제안된 방법을 渐近 정규성, 무한소 잭나이프, 라플라스 근사와 같은 기존 통계 프레임워크와 연결한다.
• 훈련 또는 추론 비용을 증가시키지 않으면서도 불확실성 정량화 및 분포 외 탐지에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

제안 방법

• 모델 가중치의 불확실성을 다변수 가우시안 분포로 모델링하고, 이 분포에 대한 기대 소프트맥스 출력을 근사한다.
• 비가역 적분을 분석적으로 계산하기 위해 평균장 가우시안-소프트맥스(mfGS) 근사를 도입한다.
• 근사는 가중치 분포의 일차 및 이차 모멘트(평균 및 공분산)만을 사용하여 폐형 추론을 가능하게 한다.
• 가중치 불확실성에서 유도된 적응형, 데이터 의존적 온도를 학습함으로써 글로벌 온도 스케일링을 일반화한다.
• 가우시안 분포는 渐近 정규성, 무한소 잭나이프, 라플라스 근사, 훈련 경로 샘플링에 기반하여 이론적 기반을 제공한다.
• 몬테카를로 샘플링을 피하기 위해 분석적 근사를 사용함으로써, 표준 앙상블 또는 베이지안 추론 대비 계산 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크가 여러 네트워크를 훈련하지 않고도 앙상블 모델의 예측 불확실성을 근사할 수 있는가?
• RQ2 가중치 분포의 일차 및 이차 모멘트만을 사용하여 가우시안 가중 소프트맥스 출력의 적분을 분석적으로 근사할 수 있는가?
• RQ3 제안된 평균장 가우시안-소프트맥스 근사가 표준 벤치마크에서 기존의 단일 모델 불확실성 추정 방법보다 우수한가?
• RQ4 최신 기술 수준의 접근법과 비교해 볼 때, 이 방법은 분포 외 탐지에 얼마나 잘 일반화되는가?
• RQ5 잭나이프, 라플라스 근사, 渐近 정규성과의 이론적 연결을 실제 불확실성 추정 향상에 활용할 수 있는가?

주요 결과

• 제안된 mfGS 방법은 표준 불확실성 추정 벤치마크에서 최신 기술 수준의 방법들인 깊은 앙상블 및 베이지안 신경망과 경쟁하거나 뛰어난 성능을 달성한다.
• 온도 스케일링, 드롭아웃 및 기타 단일 모델 기반 기준선보다 불확실성 校정 및 분포 외 탐지 과제에서 모두 뛰어난 성능을 보인다.
• 가중치 분포의 일차 및 이차 모멘트만을 사용함으로써 몬테카를로 샘플링 없이도 폐형 추론이 가능하며, 여러 모델를 저장할 필요 없이 실행된다.
• 이 방법은 표준 모델 훈련 외 추가 비용 없이도 계산이 효율적이며, 깊은 앙상블과 달리 훈련 또는 추론 비용이 증가하지 않는다.
• 무한소 잭나이프 및 라플라스 근사와의 이론적 연결은 방법의 설계 및 성능에 체계적인 기반을 제공한다.
• 실험 결과는 무한대의 앙상블 모델이 폐형 가우시안 분포를 통해 명시적인 모델 훈련 없이 효과적으로 시뮬레이션될 수 있다는 가설을 검증한다.