[논문 리뷰] Quantifying Aleatoric and Epistemic Uncertainty in Machine Learning: Are Conditional Entropy and Mutual Information Appropriate Measures?

Wimmer, Lisa, Sale, Yusuf외 3명|arXiv (Cornell University)|2022. 09. 07.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 기계학습에서 앨레토릭 및 엡스티믹 불확실성을 정량화하는 데 조건부 엔트로피와 상호정보량을 사용하는 것에 대해 비판적으로 평가하며, 이러한 정보이론적 측정치가 비일관된 행동을 보이고 총 불확실성을 올바르게 분해하지 못함을 주장한다. 저자들은 이론적 분석과 실험을 통해 이러한 측정치가 자주 부자연스러운 불확실성 할당을 초래함을 보이며, 특히 데이터가 제한적일 때나 분포 이탈이 발생할 경우 더욱 두드러진다. 이에 따라 이러한 측정치의 사용에 경계를 요구하며, 기존 확률론적 이론을 넘어서는 대안적 불확실성 체계의 필요성을 제안한다.

ABSTRACT

The quantification of aleatoric and epistemic uncertainty in terms of conditional entropy and mutual information, respectively, has recently become quite common in machine learning. While the properties of these measures, which are rooted in information theory, seem appealing at first glance, we identify various incoherencies that call their appropriateness into question. In addition to the measures themselves, we critically discuss the idea of an additive decomposition of total uncertainty into its aleatoric and epistemic constituents. Experiments across different computer vision tasks support our theoretical findings and raise concerns about current practice in uncertainty quantification.

연구 동기 및 목표

• 기계학습에서 앨레토릭 및 엡스티믹 불확실성을 측정하는 데 조건부 엔트로피와 상호정보량이 적절한지 비판적으로 평가하는 것.
• 총 불확실성을 앨레토릭 및 엡스티믹 성분으로 분해하는 데 있어 이론적이고 경험적인 모순을 조사하는 것.
• 다양한 데이터 및 모델 조건에서 다양한 확률적 학습 방법(예: 라플라스 근사, 딥 앙상블)이 불확실성 추정에 어떤 영향을 미치는지 평가하는 것.
• 특히 데이터가 적은 환경에서 고전적 확률 기반 표현 방식이 엡스티믹 불확실성을 얼마나 잘 포괄하는지에 대한 한계를 강조하는 것.
• 현재의 불확실성 정량화 관행을 재평가하고, 표준 확률론을 초월한 대안적 체계를 탐색하는 것.

제안 방법

• 예측 불확실성 분해의 맥락에서 정보이론적 측정치(샤논 엔트로피, 조건부 엔트로피, 상호정보량)의 이론적 분석.
• 총 불확실성(TU = AU + EU)으로서의 불확실성 분해의 수식화를 통해 AU는 조건부 엔트로피로, EU는 상호정보량으로 측정하는 방식.
• 컴퓨터 비전 작업(예: CIFAR-10, OOD 검출)에서 다양한 모델(라플라스 근사, 딥 앙상블, 베이지안 신경망)을 사용한 경험적 평가.
• 모델 용량과 학습 데이터 크기의 영향을 분리하기 위한 아블레이션 연구.
• 통제된 내삽 및 분포 이탈 조건에서 불확실성 행동을 평가하기 위한 시뮬레이션 데이터 실험.
• 예측 보정성과 예측 성능에 중점을 두어 다양한 확률적 학습자 간의 불확실성 행동을 비교하는 것.

실험 결과

연구 질문

• RQ1 조건부 엔트로피와 상호정보량은 기계학습에서 앨레토릭 및 엡스티믹 불확실성을 일관되고 의미 있는 방식으로 측정하는가?
• RQ2 총 불확실성을 앨레토릭 및 엡스티믹 성분으로 분해하는 것은 이론적으로나 경험적으로 타당한가?
• RQ3 다양한 확률적 학습 방법(예: 라플라스, 딥 앙상블)이 앨레토릭 및 엡스티믹 성분에 대한 불확실성 할당에 어떤 영향을 미치는가?
• RQ4 에피스티믹 불확실성이 존재할 때 유한 표본 추정이 앨레토릭 불확실성의 해석에 어떤 영향을 미치는가?
• RQ5 완전한 무지의 경우를 포함하여 고전적 확률 분포가 엡스티믹 불확실성을 충분히 표현할 수 있는가?

주요 결과

• 앨레토릭 불확실성에 대한 조건부 엔트로피 기반 측정치는 진정한 데이터 생성 과정이 완전히 알려져 있지 않을 경우 부자연스러운 행동을 보이며, 이는 주관적인 에피스티믹 불확실성에 의존하기 때문이다.
• 에피스티믹 불확실성의 측정치로 사용되는 상호정보량은 진정한 무지의 지표로서의 역할을 하기보다는 분포 간의 발산 측정치로 기능하여 오해의 소지가 있다.
• 총 불확실성을 앨레토릭 및 엡스티믹 성분으로 분해하는 것은 이론적으로 비일관적이며, 이는 유한 표본 추정치와 모델 가정에 의존할 뿐 객관적인 진실에 기반하지 않기 때문이다.
• 데이터가 적은 환경에서는 다양한 방법에 걸쳐 항상 에피스티믹 불확실성이 과소평가된다. 이는 불확실성 추정치에 대한 전반적인 과신 경향을 시사한다.
• 딥 앙상블은 라플라스 근사보다 총 불확실성을 더 높게 산출하며, 특히 분포 이탈 상황에서 더욱 두드러진다. 그러나 앨레토릭 및 엡스티믹 성분으로 분해할 경우 여전히 부자연스러운 할당을 보인다.
• 확률적 학습자의 설계가 예측 정확도가 유사하더라도 불확실성 추정치에 큰 영향을 미치며, 이는 불확실성 행동이 모델 아키텍처와 학습 절차에 민감함을 시사한다.