[논문 리뷰] A Survey of Uncertainty in Deep Neural Networks

Jakob Gawlikowski, Cedrique Rovile Njieutcheu Tassi외 12명|arXiv (Cornell University)|2021. 07. 07.

Fault Detection and Control Systems인용 수 242

한 줄 요약

딥 뉴럴 네트워크에서의 불확실성의 원천, 추정 방법, 보정 및 실제 세계의 도전과제에 대한 베이지안, 앙상블, 테스트 시간 증강 방법을 포함한 포괄적 설문.

ABSTRACT

Due to their increasing spread, confidence in neural network predictions became more and more important. However, basic neural networks do not deliver certainty estimates or suffer from over or under confidence. Many researchers have been working on understanding and quantifying uncertainty in a neural network's prediction. As a result, different types and sources of uncertainty have been identified and a variety of approaches to measure and quantify uncertainty in neural networks have been proposed. This work gives a comprehensive overview of uncertainty estimation in neural networks, reviews recent advances in the field, highlights current challenges, and identifies potential research opportunities. It is intended to give anyone interested in uncertainty estimation in neural networks a broad overview and introduction, without presupposing prior knowledge in this field. A comprehensive introduction to the most crucial sources of uncertainty is given and their separation into reducible model uncertainty and not reducible data uncertainty is presented. The modeling of these uncertainties based on deterministic neural networks, Bayesian neural networks, ensemble of neural networks, and test-time data augmentation approaches is introduced and different branches of these fields as well as the latest developments are discussed. For a practical application, we discuss different measures of uncertainty, approaches for the calibration of neural networks and give an overview of existing baselines and implementations. Different examples from the wide spectrum of challenges in different fields give an idea of the needs and challenges regarding uncertainties in practical applications. Additionally, the practical limitations of current methods for mission- and safety-critical real world applications are discussed and an outlook on the next steps towards a broader usage of such methods is given.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 불확실성의 원천과 유형을 식별하고 분류한다(데이터 불확실성 대 모델 불확실성).
• 주요 불확실성 추정 방법론(Bayesian NNs, 앙상블, 테스트 시간 증강, 결정론적 모델)을 조사하고 비교한다.
• 불확실성 추정치의 보정 및 실제 응용을 위한 실용적 벤치마크를 논의한다.
• DNN의 불확실성 정량화에 대한 한계와 도전과제, 향후 연구 기회를 강조한다.

제안 방법

• 데이터 수집에서 불확실성 정량화까지의 네 가지 단계를 설명한다: 데이터 수집, 네트워크 설계/학습, 추론, 그리고 예측 불확실성 모델링.
• 불확실성을 야기하는 요인들(I: 현실 세계의 가변성; II: 측정 잡음; III: 모델 구조 오류; IV: 학습 절차 오류; V: 미지의 데이터)와 이들이 어떻게 전파되는지 구분한다.
• 예측 불확실성을 데이터(aleatoric)와 모델(epistemic) 불확실성으로 분류하고 베이지안 및 분포 기반 형식을 논의한다.
• 네 가지 불확실성 추정 패러다임(단일 결정론적 네트워크, 베이지안 방법, 앙상블, 테스트 시간 증강)을 제시하고 각각의 트레이드오프를 상세히 설명한다.
• 평가 지표, 보정 기법, 이용 가능한 구현체와 벤치마크에 대한 개요를 제공한다.

실험 결과

연구 질문

• RQ1 DNN 예측의 주요 원천과 유형은 무엇인가?
• RQ2 DNN에서 예측 불확실성을 모델링하고 정량화하는 주요 접근 방법은 무엇이며, 어떻게 비교되는가?
• RQ3 실제 실용성 측면에서 DNN 불확실성 추정치를 어떻게 보정하고 평가할 수 있는가?
• RQ4 현실 세계 응용에서의 현재 불확실성 정량화 방법의 실용적 도전과 한계는 무엇인가?

주요 결과

• DNN 예측의 불확실성은 데이터 불확실성(aleatoric)과 모델 불확실성(epistemic)에서 비롯되며, 각각 고유한 원인과 환원 가능성 특성을 가진다.
• 베이지안 추론, 앙상블, 테스트 시간 데이터 증강, 및 명시적 불확실성 구성요소를 가진 결정론적 모델이 불확실성 추정의 주요 모델링 패러다임이다.
• 불확실성 추정치의 보정은 신뢰성에 필수적이며, 일반적인 평가 데이터 세트와 벤치마크와 함께 여러 보정 기법이 존재한다.
• 현장 응용(의료 영상, 로보틱스, 지구 관측)은 도메인 이동, 도메인 외 입력, 안전-중요 의사결정 요건과 같은 실용적 도전을 드러낸다.
• 본 논문은 불확실성 원천을 실용적 추정 방법에 매핑하는 프레임워크를 제공하고 자원 제약 하에서 각 접근 방식이 언제 더 바람직한지 강조한다.