[논문 리뷰] Deterministic Neural Networks with Appropriate Inductive Biases Capture Epistemic and Aleatoric Uncertainty

Jishnu Mukhoti, Andreas Kirsch외 3명|arXiv (Cornell University)|2021. 02. 23.

Machine Learning and Algorithms참고 문헌 25인용 수 45

한 줄 요약

이 논문은 표준 소프트맥스 신경망에 적절한 인덕티브 바이어스—특히 가우시안 할선 분석(Gaussian Discriminant Analysis)에서 유도된 특성 공간 밀도와 소프트맥스 엔트로피를 조합한 것—를 부여하면 사전 지식적 불확실성(epistemic uncertainty)과 악타토릭 불확실성(aleatoric uncertainty)을 안정적으로 포착할 수 있음을 보여준다. 이는 깊은 앙상블과 복잡한 단일 프로퍼스 방법보다 뛰어난 성능을 기록하며, OoD 탐지에서 ~0.98 AUROC를 달성한다.

ABSTRACT

We show that a single softmax neural net with minimal changes can beat the uncertainty predictions of Deep Ensembles and other more complex single-forward-pass uncertainty approaches. Softmax neural nets cannot capture epistemic uncertainty reliably because for OoD points they extrapolate arbitrarily and suffer from feature collapse. This results in arbitrary softmax entropies for OoD points which can have high entropy, low, or anything in between. We study why, and show that with the right inductive biases, softmax neural nets trained with maximum likelihood reliably capture epistemic uncertainty through the feature-space density. This density is obtained using Gaussian Discriminant Analysis, but it cannot disentangle uncertainties. We show that it is necessary to combine this density with the softmax entropy to disentangle aleatoric and epistemic uncertainty -- crucial e.g. for active learning. We examine the quality of epistemic uncertainty on active learning and OoD detection, where we obtain SOTA ~0.98 AUROC on CIFAR-10 vs SVHN.

연구 동기 및 목표

• 표준 소프트맥스 네트워크가 외부 분포(out-of-distribution, OoD) 입력에서 사전 지식적 불확실성을 신뢰할 수 없게 되는 문제를 해결하기 위해.
• 딥 앙상블과 같은 복잡한 방법보다도 우수한 불확실성 추정 성능을 달성하기 위해 최소한의 아키텍처 수정만으로도 가능함을 보여주기 위해.
• 특성 공간 밀도와 소프트맥스 엔트로피를 조합하여 단일 프로퍼스 네트워크에서 사전 지식적 불확실성과 악타토릭 불확실성을 효과적으로 분리하기 위해.
• 더 단순하고 결정론적인 네트워크를 사용하여 액티브 러닝과 OoD 탐지에서 성능을 향상시키기 위해.

제안 방법

• 최대우도 기반으로 표준 소프트맥스 신경망을 훈련하여 클래스 확률을 학습한다.
• 가우시안 할선 분석(Gaussian Discriminant Analysis, GDA)을 사용해 특성 공간의 밀도를 추정하여 사전 지식적 불확실성을 포착한다.
• GDA 기반의 밀도를 소프트맥스 엔트로피와 조합하여 사전 지식적 불확실성과 악타토릭 불확실성을 분리한다.
• 조합된 불확실성 측정값을 액티브 러닝과 OoD 탐지에 적용한다.
• OoD 포인트에 대해 임의의 외삽을 방지하고 특성 붕괴를 막기 위한 인덕티브 바이어스를 적용한다.
• 소프트맥스 엔트로피만으로는 분포 이탈 상황에서 특히 사전 지식적 불확실성 추정이 신뢰할 수 없음을 활용한다.

실험 결과

연구 질문

• RQ1 최소한의 수정만을 가진 단순한 결정론적 소프트맥스 네트워크가 딥 앙상블과 같은 복잡한 불확실성 추정 방법보다 불확실성 추정에서 뛰어난 성능을 낼 수 있는가?
• RQ2 왜 표준 소프트맥스 네트워크가 OoD 입력에 대해 사전 지식적 불확실성을 안정적으로 포착하지 못하는가?
• RQ3 단일 프로퍼스 네트워크에서 사전 지식적 불확실성과 악타토릭 불확실성을 효과적으로 분리할 수 있는가?
• RQ4 GDA에서 유도된 특성 공간 밀도가 불확실성 캘리브레이션과 OoD 탐지 성능에 얼마나 기여하는가?
• RQ5 GDA 밀도와 소프트맥스 엔트로피를 조합하면 액티브 러닝과 OoD 탐지에서 더 나은 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-10 대 SVHN의 OoD 탐지에서 ~0.98 AUROC를 달성하여 새로운 최고 성능을 기록한다.
• 이 방법은 딥 앙상블과 기타 복잡한 단일 프로퍼스 불확실성 추정 방법보다 뛰어난 성능을 보인다.
• GDA에서 유도된 특성 공간 밀도 덕분에 임의의 소프트맥스 외삽을 방지함으로써 사전 지식적 불확실성 추정이 신뢰성 있게 가능해진다.
• GDA 밀도와 소프트맥스 엔트로피를 조합함으로써 사전 지식적 불확실성과 악타토릭 불확실성이 효과적으로 분리된다.
• 단순성과 결정론성을 유지하면서도 뛰어난 불확실성 정량화 성능을 달성한다.
• 이 방법은 분포 이탈에 대해 강건하며, 표준 소프트맥스 네트워크가 OoD 입력에서 겪는 특성 붕괴를 피한다.