[논문 리뷰] The Unreasonable Effectiveness of Deep Evidential Regression

N. Meinert, Jakob Gawlikowski외 1명|arXiv (Cornell University)|2022. 05. 20.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 표본을 사용하지 않고 증거 분포를 통해 앨레아토릭 및 엡스티믹 불확실성을 추정하는 딥 뎃지멘탈 리그레션(_DER_)에 대해 조사한다. 실증적 성공에도 불구하고, 저자들은 DER가 원칙적인 불확실성 정량화가 아니라 이론적 결함이 있는 히우리스틱임을 드러내며, 그 효과성은 원칙적인 불확실성 정량화가 아니라 수렴 패턴에 기인함을 보이고, 더 신뢰할 수 있는 불확실성 추정을 위한 수정된 정의를 제안한다.

ABSTRACT

There is a significant need for principled uncertainty reasoning in machine learning systems as they are increasingly deployed in safety-critical domains. A new approach with uncertainty-aware regression-based neural networks (NNs), based on learning evidential distributions for aleatoric and epistemic uncertainties, shows promise over traditional deterministic methods and typical Bayesian NNs, notably with the capabilities to disentangle aleatoric and epistemic uncertainties. Despite some empirical success of Deep Evidential Regression (DER), there are important gaps in the mathematical foundation that raise the question of why the proposed technique seemingly works. We detail the theoretical shortcomings and analyze the performance on synthetic and real-world data sets, showing that Deep Evidential Regression is a heuristic rather than an exact uncertainty quantification. We go on to discuss corrections and redefinitions of how aleatoric and epistemic uncertainties should be extracted from NNs.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 앨레아토릭 및 엡스티믹 불확실성을 분리할 수 있다고 주장하는 딥 뎃지멘탈 리그레션(DER)의 이론적 기초를 조사하는 것.
• DER의 신뢰할 수 있는 원칙적인 불확실성 정량화 방법으로서의 신뢰성에 영향을 주는 수학적 결함을 특정하고 분석하는 것.
• 합성 및 실세계 데이터셋에서 DER의 성능을 평가하여 그 불확실성 추정의 타당성을 점검하는 것.
• 증거 추론 기반으로 딥 뉴럴 네트워크에 대한 앨레아토릭 및 엡스티믹 불확실성의 수정된 정의와 재정의를 제안하는 것.
• DER가 이론적 모순에도 불구하고 효과적으로 작동하는 이유를 밝히며, 예측 불확실성의 수렴 행동과 연결하는 것.

제안 방법

• 저자들은 증거 분포를 사용하여 DER의 이론적 기초를 유도하며, 정규-역감마(NIG) 분포의 매개변수와 유사한 매개변수를 통해 불확실성을 모델링한다.
• 예측 불확실성과 모델 수렴 간의 관계를 분석하여, DER의 성능이 진정한 불확실성 분해가 아니라 학습 동역학과 관련이 있음을 밝혀낸다.
• 이 방법은 깊이 있는 신경망을 학습시켜 평균과 분산에 대한 증거 등의 증거 매개변수를 예측하게 하며, 이를 바탕으로 폐쇄형 표현식을 통해 앨레아토릭 및 엡스티믹 불확실성을 계산한다.
• 저자들은 DER를 베이지안 신경망과 몬테카를로 드롭아웃과 비교하여, DER의 표본 사용이 없고 계산 효율성이 높지만 이론적 모순도 있음을 강조한다.
• 합성 데이터에서 알려진 노이즈와 표본 크기 영향을 고려하여, 불확실성 유형의 분리 가능성을 고립하고 측정하기 위해 실험을 수행한다.
• 연구는 엡스티믹 불확실성을 예측 분포 평균의 분산으로, 앨레아토릭 불확실성을 기대 분산으로 재정의하여, 적절한 베이지안 원칙에 기반한다.

실험 결과

연구 질문

• RQ1 딥 뎃지멘탈 리그레션은 이론적 기초가 부족한 데도 불구하고 실무에서 왜 잘 작동하는가?
• RQ2 상호의존적인 노이즈와 제한된 데이터가 존재할 때 DER은 앨레아토릭 및 엡스티믹 불확실성을 얼마나 정확히 분리할 수 있는가?
• RQ3 DER에서 예측 불확실성의 수렴 패턴은 실증적 성능과 어떻게 관련되어 있는가?
• RQ4 딥 러닝에서 증거 분포를 사용할 경우 앨레아토릭 및 엡스티믹 불확실성의 올바른 이론적 정의는 무엇인가?
• RQ5 DER는 표본 또는 이상치 데이터 없이도 원칙적인 불확실성 정량화를 제공하도록 수정될 수 있는가?

주요 결과

• 딥 뎃지멘탈 리그레션은 원칙적인 불확실성 정량화 방법이 아니라, 학습 중 예측 불확실성의 유리한 수렴 패턴 덕분에 성공하는 히우리스틱이다.
• 논문은 DER의 앨레아토릭 및 엡스티믹 불확실성 분리가 표준 확률적 가정 하에서 수학적으로 정당화되지 않음을 밝혀내며, 특히 증거 분포의 잘못된 매개변수화가 원인임을 지적한다.
• 합성 데이터에서 진짜 데이터 생성 과정이 이방성 노이즈 또는 다양한 표본 크기를 포함할 경우 DER는 불확실성 유형을 제대로 분리하지 못하며, 이는 그 불확실성 추정의 일반화 능력이 떨어짐을 시사한다.
• 저자들은 DER의 엡스티믹 불확실성이 제대로 校정되지 않았고, 베이지안 모델에서 예상되는 것처럼 표본 크기와 비례하지 않음을 입증하여, 안전 중심 응용 분야에서의 신뢰성을 떨어뜨린다.
• 연구는 원래 DER의 정의가 저자료 영역에서는 엡스티믹 불확실성을 과대평가하고 고자료 영역에서는 과소평가함을 보여주며, 이는 나쁜 校정을 의미한다.
• 예측 평균의 분산으로 엡스티믹 불확실성을 재정의하고 기대 분산으로 앨레아토릭 불확실성을 재정의함으로써, 통제된 환경에서 더 일관되고 이론적으로 타당한 불확실성 추정이 가능해짐을 보여준다.