[논문 리뷰] A Survey on Evidential Deep Learning For Single-Pass Uncertainty Estimation.

Dennis Ulmer|arXiv (Cornell University)|2021. 10. 06.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 14

한 줄 요약

이 종합 검토에서는 딥 러닝에서 불확실성 추정을 위한 단일 모델 접근법으로 증거 기반 딥 러닝(EDL)을 소개한다. 이는 예측 분포에 대한 분포를 파rameter화하여 불확실성을 명시적으로 표현하는 모델이다. 한 번의 순방향 전파로 신뢰할 수 있는 불확실성 정량화가 가능하며, 오차 분포 데이터 처리 및 사전 믿음 校정에서 앙상블 및 몬테카를로 드롭아웃 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Popular approaches for quantifying predictive uncertainty in deep neural networks often involve a set of weights or models, for instance via ensembling or Monte Carlo Dropout. These techniques usually produce overhead by having to train multiple model instances or do not produce very diverse predictions. This survey aims to familiarize the reader with an alternative class of models based on the concept of Evidential Deep Learning: For unfamiliar data, they admit what they don't know and fall back onto a prior belief. Furthermore, they allow uncertainty estimation in a single model and forward pass by parameterizing distributions over distributions. This survey recapitulates existing works, focusing on the implementation in a classification setting. Finally, we survey the application of the same paradigm to regression problems. We also provide a reflection on the strengths and weaknesses of the mentioned approaches compared to existing ones and provide the most central theoretical results in order to inform future research.

연구 동기 및 목표

• 앙상블 및 몬테카를로 드롭아웃 방법에 대한 확장 가능한 대안으로 증거 기반 딥 러닝(EDL)을 소개하는 것.
• 단일 모델을 사용하여 한 번의 순방향 전파로 불확실성 정량화를 가능하게 하여 계산 오버헤드를 감소시키는 것.
• 분류 작업에서 예측 불확실성을 모델링하기 위해 딜리클레 분포의 사용을 체계화하는 것.
• EDL 철학을 회귀 문제로 확장하여 분류 외적 적용 범위를 넓히는 것.
• 기존의 불확실성 추정 기법들과 비교하여 EDL의 강점과 한계를 철저히 평가하는 것.

제안 방법

• 클래스 확률에 대한 믿음 표현을 자연스럽게 가능하게 하는 딜리클레 분포를 사용하여 예측 분포를 파arameter화하여 모델 불확실성을 표현하는 것.
• 딥 네ural 네트워크 하나가 딜리클레 분포의 파라미터를 출력하도록 하여 적절한 스코어링 규칙과 함께 엔드 투 엔드 학습이 가능하도록 하는 것.
• 과신임 예측에 대한 벌점을 주고 미지의 입력에서 불확실성을 증진시키는 방식으로 校정을 장려하는 증거 기반 손실 함수를 적용하는 것.
• 증거가 낮을 때 사전 믿음을 기본 상태로 활용하여 모델이 무지를 명시적으로 표현할 수 있도록 하는 것.
• 예측 분포를 가우시안 또는 가우시안과 같은 가변 파라미터 분포로 모델링하여 프레임워크를 회귀 문제로 확장하는 것.
• 분류 및 회귀 모두에 대해 미분 가능한 손실 함수를 사용하여 표준 학습 파이프라인에 증거 기반 체계를 통합하는 것.

실험 결과

연구 질문

• RQ1 EDL는 앙상블 및 몬테카를로 드롭아웃 방법과 비교하여 불확실성 校정 및 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ2 증거가 낮을 때 사전 믿음으로 되돌아가기 때문에 EDL는 오차 분포 입력의 불확실성을 효과적으로 모델링할 수 있는가?
• RQ3 딥 네트워크에서 증거 기반 불확실성 추정의 이론적 기초와 핵심 성질은 무엇인가?
• RQ4 EDL 프레임워크는 어떻게 회귀 작업에 적응 및 적용될 수 있는가?
• RQ5 기타 불확실성 추정 방법과 비교할 때 EDL의 주요 한계는 무엇인가?

주요 결과

• EDL는 앙상블 방법 대비 뚜렷한 계산 비용 절감을 이룩하면서도 경쟁 수준의 불확실성 校정 성능을 달성한다.
• 증거가 낮을 때 사전 믿음으로 자연스럽게 되돌아가기 때문에, 모델은 미지의 입력에 대해 높은 불확실성을 할당함으로써 강력한 OOD(오차 분포) 탐지 성능을 보인다.
• 증거가 낮을 때 사전 믿음으로 자연스럽게 되돌아가기 때문에, EDL 모델은 명시적인 불확실성 표현이 가능하다.
• 딜리클레 분포의 사용 덕분에 한 번의 순방향 전파로도 미분 가능하고 확장 가능한 불확실성 추정이 가능하다.
• 가우시안 또는 가우시안과 같은 가변 파라미터 가족으로 예측 분포를 모델링함으로써 프레임워크가 회귀 문제로 일반화된다.
• 이론적 분석을 통해 증거 기반 손실 함수가 잘 校정된 불확실성 추정을 촉진한다는 것이 확인된다.