[논문 리뷰] Deterministic Neural Networks with Inductive Biases Capture Epistemic and Aleatoric Uncertainty

Jishnu Mukhoti, Andreas Kirsch외 3명|arXiv (Cornell University)|2021. 02. 23.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 16

한 줄 요약

이 논문은 가우스 판별 분석에서 유도된 특성 공간 밀도와 소프트맥스 엔트로피를 조합하여 민감도 및 앨레아토릭 불확실성을 동시에 포착하는 결정론적 신경망을 제안한다. 미세조정 없이 CIFAR-10 대 SVHN OoD 검출에서 98% AUROC를 달성하며, 앙상블 평균화가 아닌 구조적 인덕티브 바이어스를 통해 신뢰성 있는 불확실성 모델링을 통해 딥 앙상블 및 기타 단일 전방전달 방법을 능가한다.

ABSTRACT

We show that a single softmax neural net with minimal changes can beat the uncertainty predictions of Deep Ensembles and other more complex single-forward-pass uncertainty approaches. Standard softmax neural nets suffer from feature collapse and extrapolate arbitrarily for OoD points. This results in arbitrary softmax entropies for OoD points which can have high entropy, low, or anything in between, thus cannot capture epistemic uncertainty reliably. We prove that this failure lies at the core of why Deep Ensemble Uncertainty works well. Instead of using softmax entropy, we show that with appropriate inductive biases softmax neural nets trained with maximum likelihood reliably capture epistemic uncertainty through their feature-space density. This density is obtained using simple Gaussian Discriminant Analysis, but it cannot represent aleatoric uncertainty reliably. We show that it is necessary to combine feature-space density with softmax entropy to disentangle uncertainties well. We evaluate the epistemic uncertainty quality on active learning and OoD detection, achieving SOTA ~98 AUROC on CIFAR-10 vs SVHN without fine-tuning on OoD data.

연구 동기 및 목표

• 외부 분포(OoD) 입력에서 특성 붕괴와 임의의 외삽으로 인해 표준 소프트맥스 네트워크가 민감도 불확실성을 신뢰성 있게 모델링하지 못하는 문제를 해결한다.
• 딥 앙상블의 불확실성 성공 요인이 소프트맥스 엔트로피만이 아니라 특성 공간 밀도의 암묵적 모델링에 기인한다는 것을 규명한다.
• 가우스 판별 분석을 사용해 특성 공간 밀도를 명시적으로 모델링함으로써 단일 전방전달에서 민감도 불확실성을 신뢰성 있게 추정하는 방법을 개발한다.
• 특성 공간 밀도와 소프트맥스 엔트로피를 조합하여 민감도 및 앨레아토릭 불확실성을 효과적으로 분리함으로써 보다 나은 불확실성 캘리브레이션을 달성한다.
• OoD 데이터에 대한 미세조정 없이도 활성 학습 및 OoD 검출 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• 특성 붕괴를 방지하고 안정적인 특성 공간 밀도 추정을 가능하게 하는 인덕티브 바이어스를 유지하기 위해 최대우도 기반으로 표준 소프트맥스 신경망을 훈련한다.
• 최종 히든 레이어의 클래스 조건부 밀도를 모델링하는 가우스 판별 분석(GDA)에서 유도된 특성 공간 밀도를 사용해 민감도 불확실성을 추정한다.
• 신경망의 최종 레이어 예측의 소프트맥스 엔트로피로 앨레아토릭 불확실성을 계산한다.
• 특성 공간 밀도와 소프트맥스 엔트로피 두 가지 불확실성 구성요소를 통합하여 통합 불확실성 점수를 생성함으로써 민감도 및 앨레아토릭 원인을 분리한다.
• 통합 불확실성 점수를 활성 학습 및 OoD 검출에 활용하여 앙상블 평균화나 OoD 미세조정이 필요 없도록 한다.
• GDA 기반 밀도는 OoD 입력에 대해 강건하며, 소프트맥스 엔트로피는 데이터 불확실성을 포착하므로 신뢰성 있는 불확실성 정량화가 가능하다는 점을 활용한다.

실험 결과

연구 질문

• RQ1 왜 표준 소프트맥스 네트워크가 OoD 입력에서 민감도 불확실성을 안정적으로 모델링하지 못하는가?
• RQ2 특성 공간 밀도를 명시적으로 모델링함으로써 단일 전방전달 방법이 딥 앙상블의 불확실성 추정 성능을 능가할 수 있는가?
• RQ3 앙상블 평균화 없이 결정론적 신경망에서 민감도 및 앨레아토릭 불확실성을 효과적으로 분리할 수 있는가?
• RQ4 가우스 판별 분석이 표준 신경망 아키텍처에서 불확실성 캘리브레이션을 얼마나 향상시킬 수 있는가?
• RQ5 미세조정 없이도 결정론적 네트워크가 최신 기준 OoD 검출 성능을 달성할 수 있는가?

주요 결과

• 표준 소프트맥스 네트워크는 특성 붕괴와 임의의 외삽으로 인해 OoD 입력에서 민감도 불확실성을 안정적으로 포착하지 못하며, 이로 인해 OoD 입력에서 소프트맥스 엔트로피가 일관되지 않게 된다.
• 딥 앙상블의 불확실성 성공 요인은 소프트맥스 엔트로피만이 아니라 특성 공간 밀도의 암묵적 모델링에 기반한다.
• 가우스 판별 분석을 통한 특성 공간 밀도의 명시적 모델링은 단일 전방전달에서 민감도 불확실성 추정을 신뢰성 있게 가능하게 한다.
• 특성 공간 밀도와 소프트맥스 엔트로피를 조합함으로써 민감도 및 앨레아토릭 불확실성을 효과적으로 분리할 수 있으며, 이는 불확실성 캘리브레이션 향상에 기여한다.
• 제안된 방법은 CIFAR-10 대 SVHN OoD 검출에서 98% AUROC를 달성하며, OoD 데이터에 대한 어떤 종류의 미세조정 없이도 새로운 최신 기준을 수립한다.
• 이 방법은 활성 학습 및 OoD 검출 벤치마크에서 딥 앙상블과 기타 단일 전방전달 불확실성 접근법을 모두 능가한다.