[논문 리뷰] Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts

Bertrand Charpentier, Daniel Zügner외 1명|arXiv (Cornell University)|2020. 06. 16.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 60

한 줄 요약

Posterior Network는 클래스 조건부 정규화 흐름을 사용하여 입력 의존 Dirichlet 사후분포를 구축하고, OOD 데이터 없이 불확실성 추정 가능하며 OOD 탐지 및 보정 성능을 향상시킵니다.

ABSTRACT

Accurate estimation of aleatoric and epistemic uncertainty is crucial to build safe and reliable systems. Traditional approaches, such as dropout and ensemble methods, estimate uncertainty by sampling probability predictions from different submodels, which leads to slow uncertainty estimation at inference time. Recent works address this drawback by directly predicting parameters of prior distributions over the probability predictions with a neural network. While this approach has demonstrated accurate uncertainty estimation, it requires defining arbitrary target parameters for in-distribution data and makes the unrealistic assumption that out-of-distribution (OOD) data is known at training time. In this work we propose the Posterior Network (PostNet), which uses Normalizing Flows to predict an individual closed-form posterior distribution over predicted probabilites for any input sample. The posterior distributions learned by PostNet accurately reflect uncertainty for in- and out-of-distribution data -- without requiring access to OOD data at training time. PostNet achieves state-of-the art results in OOD detection and in uncertainty calibration under dataset shifts.

연구 동기 및 목표

• 신경망에서 안전-중요 도메인을 위한 신뢰할 수 있는 불확실성 추정을 목표로 한다.
• 훈련 중 OOD 데이터가 필요한 기존 Dirichlet 기반 불확실성 모델의 한계를 다룬다.
• OOD 샘플에 접근 없이 ID 및 OOD 데이터에 대해 잘 보정된 불확실성을 제공하는 프레임워크를 제안한다.
• 입력 의존적인 클래스 확률 포스트eri를 모델링하기 위해 정규화 흐름을 활용한다.

제안 방법

• 각 입력에 대해 Dirichlet 매개변수를 사전+의사 계수 업데이트로 예측 \u0005beta^(i) = beta^(prior) + beta^(i) 이고 α^(i)=beta^(prior)+beta^(i)로 두었다.
• 입력을 잠재 공간 z로 인코드하기 위해 f_theta를 이용하고, 정규화 흐름을 통해 클래스 조건부 밀도 P(z|c;phi)를 학습한다.
• β^(prior) = 1(평평한 사전)으로 설정하고, 클래스별 잠재 밀도와 실제 클래스 개수로부터 β^(i)을 도출한다.
• Uncertain Cross Entropy(UCE)와 엔트로피 규제항을 결합한 베이지안 유사 손실로 엔드 투 엔드 학습한다.
• Dirichlet 매개변수로부터 불확실성을 계산한다; ID 데이터는 낮은 인지적 불확실성과 거의 실제 클래스 포스트eri를 생성하고, OOD는 높은 인지적 불확실성을 보인다.
• 잠재 공간의 밀도를 사용하여 명시적 OOD 샘플 없이도 OOD 탐지를 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 중 OOD 데이터에 접근하지 않고도 모델이 입력 의존적인 클래스 확률에 대한 포스터리를 학습할 수 있는가?
• RQ2 잠재 공간의 클래스 조건부 밀도가 분포 이동 하에서 효과적인 OOD 탐지와 불확실성 보정에 기여하는가?
• RQ3 PostNet이 ID와 OOD 샘플에 대해 aleatoric 및 epistemic 불확실성을 어떻게 균형 있게 조절하는가?
• RQ4 베이지안 유사 손실과 밀도 기반 의사계수로 학습하는 것이 불확실성 추정에서 전통적인 Prior Networks나 앙상블보다 더 효과적인가?
• RQ5 인코더 아키텍처와 밀도 유형(가우시안 혼합, 방사형 흐름, IAF)이 성능에 미치는 영향은?

주요 결과

• PostNet은 훈련 중 OOD 데이터 없이도 경쟁력 있는 정확도와 신뢰도 보정을 달성한다.
• PostNet은 Prior Networks를 포함한 Dirichlet 기반 기준선에 비해 OOD 탐지를 크게 향상시킨다.
• 잠재 공간에서의 흐름 기반 밀도 추정은 데이터셋 전반에서 강력한 OOD 탐지 및 보정 성능을 제공한다.
• 변형 실험은 베이지안 손실과 밀도 추정이 견고한 불확실성 추정과 OOD 구분에 결정적임을 보여준다.
• MNIST, CIFAR-10, 그리고 Sensorless Drive에 대한 결과는 아키텍처 및 데이터 상황에 관계없이 좋은 불확실성 추정치를 보여준다.