[논문 리뷰] Prior and Posterior Networks: A Survey on Evidential Deep Learning Methods For Uncertainty Estimation

Dennis Ulmer, Christian Hardmeier외 1명|arXiv (Cornell University)|2021. 10. 06.

Adversarial Robustness in Machine Learning참고 문헌 167인용 수 18

한 줄 요약

이 종합 검토는 심층 신경망에서의 불확실성 추정을 위한 방법으로 증거 기반 딥 러닝(Evidential Deep Learning)을 소개한다. 이 방법은 예측 분포를 Dirichlet 분포로 모델링함으로써 단일 전방전파를 통한 불확실성 정량화를 가능하게 한다. 분류와 회귀에 대한 사전 및 사후 네트워크의 통합적 개요를 제공하며, 불확실성 校정, OOD 탐지 및 실용적 구현 기법을 강조하고, 실험적 벤치마크와 이론적 유도를 수반한다.

ABSTRACT

Popular approaches for quantifying predictive uncertainty in deep neural networks often involve distributions over weights or multiple models, for instance via Markov Chain sampling, ensembling, or Monte Carlo dropout. These techniques usually incur overhead by having to train multiple model instances or do not produce very diverse predictions. This comprehensive and extensive survey aims to familiarize the reader with an alternative class of models based on the concept of Evidential Deep Learning: For unfamiliar data, they aim to admit "what they don't know", and fall back onto a prior belief. Furthermore, they allow uncertainty estimation in a single model and forward pass by parameterizing distributions over distributions. This survey recapitulates existing works, focusing on the implementation in a classification setting, before surveying the application of the same paradigm to regression. We also reflect on the strengths and weaknesses compared to other existing methods and provide the most fundamental derivations using a unified notation to aid future research.

연구 동기 및 목표

• 심층 신경망에서의 불확실성 추정을 위한 증거 기반 딥 러닝 방법에 대한 종합적이고 접근하기 쉬운 개요를 제공하는 것.
• 분류 및 회귀 설정에서 Dirichlet 분포를 사용하여 사전 또는 사후를 매개변수화하는 기존 방법들을 통합하고 비교하는 것.
• 불확실성 校정의 과제를 부각하고, OOD 훈련, 지식 정제, 밀도 추정과 같은 해결책을 제안하는 것.
• 재현 가능성과 향후 연구를 지원하기 위해 일관된 표기법을 사용해 핵심 방정식을 도출하는 것.
• 불확실성 정량화 연구 공동체를 넘어서 증거 기반 딥 러닝의 널리 퍼진 도입을 촉진하는 것.

제안 방법

• 모델은 예측 분포를 Dirichlet 분포로 매개변수화하여 농도 매개변수 α를 통해 불확실성 추정을 수행한다.
• 예측 분포는 몬테카를로 샘플링이나 앙상블 평균화를 피하기 위해 단일 전방전파로 계산된다.
• 분류의 경우, 이 방법은 Dirichlet 사전을 사용하고 예측에서 유출된 증거를 바탕으로 이를 갱신하며, 불확실성은 α₀ = ∑αₖ로부터 유도된다.
• OOD 데이터 증강, 지식 정제, 엔트로피 정규화와 같은 기법들이 불확실성 校정 향상에 적용된다.
• 회귀의 경우, 이 프레임워크는 공액 사전과 출력에 대한 증거 기반 분포를 사용하여 예측 분포를 모델링하는 데로 확장된다.
• 이 종합 검토는 예측 분포의 기대값, 분산, 딤타 함수를 포함한 Dirichlet 분포의 핵심 방정식을 도출하여 이론적 일관성을 지원한다.

실험 결과

연구 질문

• RQ1 심층 신경망은 어떻게 외부 분포(OOD) 입력에 대해 특히 명시적인 불확실성을 표현하도록 만들 수 있는가?
• RQ2 증거 기반 딥 러닝에서 사전 네트워크와 사후 네트워크의 주요 차이점은 무엇이며, 이는 불확실성 추정에 어떻게 영향을 미치는가?
• RQ3 OOD 데이터 증강 및 지식 정제와 같은 기법들이 증거 기반 모델에서 불확실성 校정을 어떻게 향상시키는가?
• RQ4 분류 및 회귀에서 Dirichlet 기반 불확실성 추정의 이론적 기초와 실용적 구현은 무엇인가?
• RQ5 전통적인 베이지안 방법인 MC 드롭아웃 및 앙상블에 비해 증거 기반 모델은 성능과 校정 측면에서 어떻게 비교되는가?

주요 결과

• 증거 기반 딥 러닝은 앙상블나 MCMC 방법에 비해 인퍼런스 비용을 크게 줄이는 단일 전방전파를 통한 불확실성 추정을 가능하게 한다.
• 예측 불확실성에 Dirichlet 분포를 사용하는 모델은 OOD 입력에서 사전 믿음으로 되돌아가며 보다 나은 校정을 보인다.
• 훈련 중에 OOD 예시를 포함함으로써 공백(증거 부족)이 감소하고 OOD 샘플 탐지 능력이 향상된다.
• 지식 정제와 엔트로피 정규화는 특히 데이터가 적은 환경에서 훈련을 안정화시키고 불확실성 추정을 향상시키는 데 도움이 된다.
• 그래프 기반 또는 커널 기반의 밀도 추정은 局소 구조와 이웃 정보를 통합함으로써 불확실성 모델링을 향상시킨다.
• 기대값과 딤타 함수를 포함한 Dirichlet 분포의 이론적 유도는 일관된 불확실성 정량화에 필수적이며, 본 종합 검토에서 통합되었다.