[논문 리뷰] Understanding Softmax Confidence and Uncertainty

Tim Pearce, Alexandra Brintrup외 1명|arXiv (Cornell University)|2021. 06. 09.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 47

한 줄 요약

본 논문은 소프트맥스 신뢰도가 인식론적 불확실성과 상관관계가 있는 시점들을 분석하고, 소프트맥스가 불확실성과 일치하도록 돕는 두 가지 암묵적 편향을 식별하며, 소프트맥스가 주로 외삽이 아닌 최종 층 특징 겹침으로 실패할 수 있음을 보여주는 진단 실험을 제시한다.

ABSTRACT

It is often remarked that neural networks fail to increase their uncertainty when predicting on data far from the training distribution. Yet naively using softmax confidence as a proxy for uncertainty achieves modest success in tasks exclusively testing for this, e.g., out-of-distribution (OOD) detection. This paper investigates this contradiction, identifying two implicit biases that do encourage softmax confidence to correlate with epistemic uncertainty: 1) Approximately optimal decision boundary structure, and 2) Filtering effects of deep networks. It describes why low-dimensional intuitions about softmax confidence are misleading. Diagnostic experiments quantify reasons softmax confidence can fail, finding that extrapolations are less to blame than overlap between training and OOD data in final-layer representations. Pre-trained/fine-tuned networks reduce this overlap.

연구 동기 및 목표

• OOD 탐지에서 소프트맥스 신뢰도가 때때로 인식론적 불확실성의 대리 척도가 되는 이유를 제시한다.
• 소프트맥스 층의 불확실한 영역과 결정 경계 구조를 특성화한다.
• 소프트맥스가 불확실성과 상관관계가 있도록 만드는 암묵적 편향을 설명한다: 최적의 경계 구조와 깊은 네트워크의 특징 걸러내기.
• 소프트맥스 기반 불확실성의 실패 모드를 경험적으로 진단하고 사전 학습 또는 미세 조정을 통한 완화책을 평가한다.

제안 방법

• 유효한 OOD 영역의 정의와 함께 소프트맥스 최종 층의 해석적 특성화(정리 1, 정의 1).
• 거의 최적의 결정 경계 구조의 도출(정의 2)과 훈련된 네트워크가 이 구조에 근접함을 보여주는 실증 증거(그림 4).
• 최종 층 활성화를 가중치 벡터와의 정렬을 갖는 작업-특정 특징 클러스터로 모델링함 (||z||, cos theta).
• 최종 층 활성화에 대해 가우시안 혼합 밀도(Gaussian mixture density)를 사용하여 정상 분포(분포) 밀도와 불확실성(U_density)을 추정.
• 경계 구조가 OOD 탐지에 미치는 영향을 테스트하기 위해 소프트맥스 가중치를 고정하는 진단 실험(그림 5).
• 작업 관련 특징을 강조하는 필터로서의 깊은 네트워크 분석으로 OOD 입력에 대한 활성화 크기를 감소시킴(그림 6, 식 6).

실험 결과

연구 질문

• RQ1 어떤 조건에서 소프트맥스 신뢰도가 OOD 탐지에 대한 인식론적 불확실성을 신뢰성 있게 나타내는가?
• RQ2 소프트맥스 결정 경계의 구조가 OOD 탐지 성능에 어떻게 영향을 미치는가?
• RQ3 깊은 네트워크에 내재된 어떤 암묵적 편향이 소프트맥스 신뢰도가 인식론적 불확실성과 상관관계가 있도록 만드는가?
• RQ4 최종 층 특징 표현이 OOD 정보를 필터링하거나 중첩하는 정도와 사전 학습이 이것에 어떻게 영향을 미치는가?
• RQ5 불확실성 추정에서 소프트맥스 실패의 주된 원인은 무엇이며, 사전 학습으로 이를 완화할 수 있는가?

주요 결과

• 소프트맥스 신뢰도는 두 가지 암묵적 편향 아래에서 인식론적 불확실성과 상관관계가 있을 수 있다: 거의 최적의 결정 경계 구조와 작업-특정 특징을 필터링하는 필터 역할을 하는 깊은 네트워크.
• 최적의 경계 구조는 모든 i ≠ j에 대해 cos theta가 -1/(K-1)이 되도록 서로 같은 가중치, 편향이 0인 벡터가 골고루 분포하는 특징을 가진다(훈련된 네트워크에서 실험적으로 관찰, 그림 4).
• 유효한 OOD 영역의 부피가 최적 구조에서 더 커져 OOD 탐지를 향상시킨다(이론적 결과 및 그림 3).
• OOD 데이터의 최종 층 활성화는 크기가 더 작고 가중치 벡터와의 익숙한 정렬이 덜하여 소프트맥스 신뢰도가 감소하는 경향이 있다(Eq. 6; 그림 6).
• 깊이와 사전 학습이 실패 원인을 완화하는 데 도움이 되며, 사전 학습된 네트워크는 OOD 탐지에서 거의 완벽에 가까운 AUROC를 달성하고 대부분의 특징 overlapped를 피한다(표 1, 텍스트로 설명).
• 간단한 마음 모델 U_max mental은 특징 크기가 작아지고 가중치 벡터와의 각도가 더 덜 익숙해질수록 불확실성이 증가한다를 포착한다(Eq. 7).