[논문 리뷰] Fast Predictive Uncertainty for Classification with Bayesian Deep Networks

Marius Hobbhahn, Agustinus Kristiadi외 1명|arXiv (Cornell University)|2020. 03. 02.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 9

한 줄 요약

이 논문은 베이지안 딥러닝에서 예측 불확실성을 추정하기 위해 라플라스 브릿지(의사)를 사용하여 네트워크 로짓에 대한 가우시안 분포를 소프트맥스 출력에 대한 디리클레 분포로 매핑함으로써 빠르고 분석적인 방법을 제안한다. 이 방법은 예측당 O(K) 복잡도로 효율적인 불확실성 정량화를 가능하게 하며, 몬테카를로 샘플링을 능가하고, 이미지넷에서 상위-k 정확도를 향상시키면서도 낮은 추론 비용을 유지한다.

ABSTRACT

In Bayesian Deep Learning, distributions over the output of classification neural networks are often approximated by first constructing a Gaussian distribution over the weights, then sampling from it to receive a distribution over the softmax outputs. This is costly. We reconsider old work (Laplace Bridge) to construct a Dirichlet approximation of this softmax output distribution, which yields an analytic map between Gaussian distributions in logit space and Dirichlet distributions (the conjugate prior to the Categorical distribution) in the output space. Importantly, the vanilla Laplace Bridge comes with certain limitations. We analyze those and suggest a simple solution that compares favorably to other commonly used estimates of the softmax-Gaussian integral. We demonstrate that the resulting Dirichlet distribution has multiple advantages, in particular, more efficient computation of the uncertainty estimate and scaling to large datasets and networks like ImageNet and DenseNet. We further demonstrate the usefulness of this Dirichlet approximation by using it to construct a lightweight uncertainty-aware output ranking for ImageNet.

연구 동기 및 목표

• 베이지안 신경망에서 불확실성 추정을 위한 몬테카를로 샘플링의 높은 계산 비용을 해결하기 위해.
• 대규모 분류 작업에서 예측 불확실성을 효율적이고 분석적으로 계산할 수 있도록 하기 위해.
• 디리클레 불확실성 추정을 사용하여 가벼우면서도 적응형 상위-k 랭킹 시스템을 구축함으로써 불확실성 인식 예측을 향상시키기 위해.
• 실제 베이지안 딥러닝 응용에서의 실용성에 한계를 보이는 원시 라플라스 브릿지의 한계를 보완하기 위해.

제안 방법

• 라플라스 브릿지를 역방향으로 적용: 로짓에 대한 가우시안 근사에서 소프트맥스 출력에 대한 디리클레 근사로의 변환.
• 역소프트맥스 함수를 통한 기저 변환을 사용하여 디리클레 분포가 라플라스 근사에 더 잘 적합하도록 한다.
• 원시 라플라스 브릿지의 한계를 보완하기 위한 보정 조치를 도입하며, 특히 디리클레 분포의 비가우시안 지지 및 다중모달 행동을 다루는 데 중점을 둔다.
• 결과로 도출된 디리클레 분포를 사용하여 마진 베타 분포의 분위수 기반 오버랩 검출을 통해 불확실성 인식 상위-k 예측을 계산한다.
• 알고리즘은 불확실성 오버랩을 기반으로 동적으로 클래스 목록을 선택하여 높은 신뢰도를 유지하면서도 목록 길이를 적응적으로 조절한다.
• 이 방법은 라플라스 또는 변분 추론을 포함한 네트워크 가중치에 대한 어떤 가우시안 사후 근사화와도 호환된다.

실험 결과

연구 질문

• RQ1 라플라스 브릿지는 베이지안 딥러닝에서 빠르고 분석적인 불확실성 추정을 위해 효과적으로 적응될 수 있는가?
• RQ2 보정된 라플라스 브릿지는 정확도와 효율성 측면에서 몬테카를로 샘플링 및 기타 적분 근사 방법과 비교해 볼 때 어떻게 성능을 내는가?
• RQ3 디리클레 근사화는 이미지넷과 같은 대규모 데이터셋에서 확장 가능한 불확실성 추정을 가능하게 하는가?
• RQ4 불확실성 인식 상위-k 예측은 낮은 추론 비용을 유지하면서도 모델 성능을 향상시킬 수 있는가?
• RQ5 적응형 불확실성 기반 랭킹은 높은 신뢰도의 예측을 유지하면서도 목록 길이를 줄이는 데 성공하는가?

주요 결과

• 제안된 방법은 평균 목록 길이가 3 이하인 조건에서 이미지넷에서 85% 이상의 상위-k 정확도를 달성하여 표준 상위-1 정확도인 74.4%를 크게 뛰어넘었다.
• 불확실성 인식 상위-k 방법은 높은 신뢰도를 유지한다. 대부분의 예측에서 여전히 정확한 상위-1 레이블을 도출함으로써, 불확실성이 핵심 성능을 떨어뜨리지 않는다는 점을 시사한다.
• 이 방법은 테스트 시간 추론 비용을 O(K) 복잡도로 줄여 몬테카를로 샘플링에 비해 상당한 속도 향상을 제공한다.
• 보정된 라플라스 브릿지는 소프트맥스-가우시안 적분을 추정하는 데 있어 일반적인 대안인 다중 클래스 프로빗 근사보다 우수한 성능을 보였다.
• 이 방법은 비가소한 경우에 k=2, 3, 또는 10인 상황에서도 적응형 예측 목록 길이를 제공하여 실용적인 유연성을 입증했다.
• 이 방법은 대규모 모델인 딥다이넷과 같은 경우에도 확장 가능하고 효과적이며, 실시간 불확실성 인식 배포에 대한 잠재력을 보여준다.