[논문 리뷰] A Comprehensive Survey on Evidential Deep Learning and Its Applications

Junyu Gao, Mengyuan Chen외 2명|arXiv (Cornell University)|2024. 09. 07.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 종합 검토는 심층 학습에서 신뢰할 수 있는 불확실성 추정을 위한 단일 순방향 전파 프레임워크인 증거 기반 딥 러닝(EDL)을 제시한다. 주관적 논리와 딜레르트 분포를 활용하여 믿음 질량과 불확실성을 모델링하며, 최소한의 계산 오버헤드로 효율적인 불확실성 정량화를 달성한다. 기존의 베이지안 신경망 및 딥 앙상블과 같은 전통적 방법보다 추론 속도가 뛰어나면서도 강력한 불확실성 캘리브레이션을 유지한다.

ABSTRACT

Reliable uncertainty estimation has become a crucial requirement for the industrial deployment of deep learning algorithms, particularly in high-risk applications such as autonomous driving and medical diagnosis. However, mainstream uncertainty estimation methods, based on deep ensembling or Bayesian neural networks, generally impose substantial computational overhead. To address this challenge, a novel paradigm called Evidential Deep Learning (EDL) has emerged, providing reliable uncertainty estimation with minimal additional computation in a single forward pass. This survey provides a comprehensive overview of the current research on EDL, designed to offer readers a broad introduction to the field without assuming prior knowledge. Specifically, we first delve into the theoretical foundation of EDL, the subjective logic theory, and discuss its distinctions from other uncertainty estimation frameworks. We further present existing theoretical advancements in EDL from four perspectives: reformulating the evidence collection process, improving uncertainty estimation via OOD samples, delving into various training strategies, and evidential regression networks. Thereafter, we elaborate on its extensive applications across various machine learning paradigms and downstream tasks. In the end, an outlook on future directions for better performances and broader adoption of EDL is provided, highlighting potential research avenues.

연구 동기 및 목표

• 이 분야에 대한 사전 지식이 없어도 접근 가능한 증거 기반 딥 러닝(EDL)에 대한 종합적이고 이해하기 쉬운 소개를 제공하기 위해.
• 주관적 논리에 기반한 EDL의 이론적 기초와 다른 불확실성 추정 프레임워크와의 차이를 명확히 하기 위해.
• 최근의 이론적 발전, 예를 들어 증거 수집, OOD 일반화, 학습 전략, 그리고 회귀 확장 등에 대해 체계적으로 검토하기 위해.
• 컴퓨터 비전, 자연어 처리(NLP), 과학 연구 등 다양한 머신 러닝 파라다임과 응용 과제에서 EDL의 광범위한 응용 사례를 조사하기 위해.
• 현재의 열려 있는 과제와 향후 연구 방향, 특히 EDL를 대규모 기초 모델과 고위험 응용 분야에 통합하는 데 중점을 두기 위해.

제안 방법

• EDL는 주관적 논리를 사용하여 불확실성을 모델링하며, 믿음을 믿음 질량으로 표현하고 불확실성을 별도의 질량으로 다루어 명시적인 '모르겠다' 상태를 가능하게 한다.
• 주관적 의견의 이중 사상 표현으로 딜레르트 분포를 사용하며, 이는 증거와 불확실성에 해당하는 매개변수를 갖는다.
• 딥 신경망은 각 클래스에 대한 충분통계(증거)를 생성하는 증거 수집기로 작동하며, 이를 통해 딜레르트 사후분포를 정의한다.
• 모델 최적화는 딜레르트 분포에 대해 통합된 표준 손실 함수를 최소화하여 엔드 투 엔드 학습을 가능하게 한다.
• 이 프레임워크는 증거 기반 회귀 네트워크를 통해 분류 및 회귀 과제 모두를 지원하며, 연속형 출력으로의 불확실성 모델링을 확장한다.
• EDL는 OOD 샘플 정규화와 적응형 증거 수집을 통해 불확실성 추정을 향상시키며, 분포 이탈에 대한 강건성을 높인다.

실험 결과

연구 질문

• RQ1 증거 기반 딥 러닝(EDL)은 이론적으로 베이지안 신경망과 딥 앙상블과 어떻게 다를까? 특히 불확실성 모델링 측면에서.
• RQ2 EDL 내에서 증거 수집, OOD 일반화, 학습 전략 분야의 핵심 이론적 발전은 무엇인가?
• RQ3 EDL는 컴퓨터 비전, 자연어 처리(NLP), 다중 모odal 학습 등 다양한 머신 러닝 파라다임에 효과적으로 어떻게 적용될 수 있는가?
• RQ4 현재의 EDL 접근법이 순수한 앨레아토릭 불확실성 추정에서 어떤 한계를 지니며, 이를 어떻게 보완할 수 있는가?
• RQ5 EDL는 계산 비용 증가 없이 성능 저하 없이 대규모 미리 훈련된 기초 모델에 원활하게 통합될 수 있는가?

주요 결과

• EDL는 단일 순방향 전파만으로도 신뢰할 수 있는 불확실성 추정을 가능하게 하여, 딥 앙상블이나 베이지안 신경망에 비해 계산 비용을 크게 감소시킨다.
• 딜레르트 분포의 사용 덕분에 EDL는 불확실성을 별도의 질량으로 자연스럽게 모델링할 수 있으며, '모르겠다'를 원칙적으로 표현할 수 있는 방법을 제공한다.
• OOD 인식 학습과 결합할 경우, EDL는 표준 딥 러닝 모델보다 불확실성 캘리브레이션에서 뛰어난 성능을 보이며, 분포 이탈 샘플을 효과적으로 탐지한다.
• 강력한 이론적 기초를 지니고 있음에도 불구하고, 현재 EDL는 주류의 불확실성 추정 방법에 비해 일부 벤치마크에서 성능이 열등하여 향후 개선 여지가 있음을 시사한다.
• EDL는 특히 휘발성 및 압축 기법을 통해 대규모 기초 모델과의 통합 잠재력이 높으며, 직접 적용은 아직 탐색되지 않은 상태이다.
• 불확실성 인식 샘플링을 통한 디퓨전 모델 향상 등 콘텐츠 생성 분야의 미래 응용이 유망하며, 대부분 탐색되지 않은 분야이다.