[논문 리뷰] Benchmarking Uncertainty Disentanglement: Specialized Uncertainties for Specialized Tasks

Bálint Mucsányi, Michael Kirchhof외 1명|arXiv (Cornell University)|2024. 02. 29.

Complex Systems and Decision Making인용 수 10

한 줄 요약

이 논문은 정보이론적(disentanglement) 및 Bregman 기반의 무작위성 해소가 실제로 달성 가능한지 평가하기 위해 ImageNet에서 일곱 가지 실용적 작업에 걸쳐 열두 가지 불확실성 추정기를 포괄적으로 벤치마크한다. 결론적으로 해소는 일반적으로 달성되지 않으며 작업 특유의 성능이 우세하다.

ABSTRACT

Uncertainty quantification, once a singular task, has evolved into a spectrum of tasks, including abstained prediction, out-of-distribution detection, and aleatoric uncertainty quantification. The latest goal is disentanglement: the construction of multiple estimators that are each tailored to one and only one source of uncertainty. This paper presents the first benchmark of uncertainty disentanglement. We reimplement and evaluate a comprehensive range of uncertainty estimators, from Bayesian over evidential to deterministic ones, across a diverse range of uncertainty tasks on ImageNet. We find that, despite recent theoretical endeavors, no existing approach provides pairs of disentangled uncertainty estimators in practice. We further find that specialized uncertainty tasks are harder than predictive uncertainty tasks, where we observe saturating performance. Our results provide both practical advice for which uncertainty estimators to use for which specific task, and reveal opportunities for future research toward task-centric and disentangled uncertainties. All our reimplementations and Weights & Biases logs are available at https://github.com/bmucsanyi/untangle.

연구 동기 및 목표

• 예측 불확실성을 작업 특화 구성요소로 분리할 필요성을 자극한다(알레아토릭 vs. 에피스테믹).
• 현재의 불확실성 추정기가 대규모 실무에서도 이 구성요소를 진정으로 해리(분리)하는지 평가한다.
• 다양한 실용적 작업(ID/OOD, 자제 등)에 대해 어떤 추정기가 최적으로 수행하는지 특성화한다.
• 작업 중심의 불확실성 추정기 개발 및 재현 가능한 벤치마킹을 위한 지침을 제공한다.

제안 방법

• 플러그-앤-플레이 모듈로 열두 가지 불확실성 정량 추정기를 재구현하고 ImageNet-1k에서 일곱 가지 작업에 걸쳐 평가한다.
• 추정기를 분포 기반(q(f)를 클래스 확률 위에 산출)과 결정적(스칼라 불확실성 출력)으로 분류한다.
• 정보 이론적 IT 및 Bregman 분해의 두 해리(분리) 패러다임을 적용하여 알레아토릭 및 에피스테믹 구성요소에 대한 짝을 갖춘 추정기를 얻는다.
• 필요한 경우 스칼라 불확실성을 얻기 위해 분포 출력에 대해 여덟 가지 집계 전략으로 집계한다.
• 강건성 확인 및 데이터세트 크기 효과를 위해 CIFAR-10에서 실험을 재현한다.

Figure 1 : Six out of seven distributional methods exhibit a severely high rank correlation between the information-theoretical aleatoric and epistemic components when evaluated on ImageNet-ReaL. These methods violate a necessary condition of uncertainty disentanglement.

실험 결과

연구 질문

• RQ1 현재의 불확실성 추정기가 실제로 알레아토릭과 에피스테믹 구성요소를 진정으로 해리해 주는가?
• RQ2 특정 실용 작업(예: OOD 탐지, 자제, 정확도 예측 등)에 대해 어떤 추정기가 최적인가?
• RQ3 대규모 대 소규모 데이터세트에서 IT 및 Bregman 분해가 어떻게 작용하는가?
• RQ4 해리 해석에 대한 결론이 데이터세트와 작업 간에 전이되는가?

주요 결과

• 실무에서 해리는 일반적으로 달성되지 않으며, 대부분의 IT 및 Bregman 분해는 ImageNet-ReaL에서 일곱 가지 분포 기반 방법에 걸쳐 알레아토릭과 에피스테믹 추정값이 높은 상관관계를 보인다.
• OOD 탐지는 특수한 밀도 기반 방법(예: Mahalanobis)에서 이점을 얻지만, 이는 알레아토릭 또는 예측 불확실성과 같은 다른 작업으로 확장되지 않는다.
• 알레아토릭 불확실성은 방법에 걸쳐 양을 측정하기 어렵고, 딥 앙상블과 드롭아웃은 많은 현대 밀도 기반 방법보다 실제 인간 불확실성(ReaL)과의 정렬이 상대적으로 더 좋다.
• 정확도 예측 성능은 방법들 간에 포화되어 있으며, 드롭아웃과 딥 앙상블이 견고한 결과를 제공하는 반면, 전문 OOD 탐지기(예: Mahalanobis)는 분포 내 정확성 작업에 잘 일반화되지 않는다.
• 작업 전반에 걸쳐 단일 방법이 지배적이지 않으며, 비용 허용 시 드롭아웃과 딥 앙상블이 좋은 범용 베이스라인을 제공하는 등 작업 중심의 권고가 필요하다.

Figure 2 : Mahalanobis—a direct OOD detector, dropout, and shallow ensembles distinguish ID and OOD samples considerably better (AUROC $\geq 0.728$ ) than the baseline (AUROC $=0.674$ ). OOD samples are perturbed by ImageNet-C corruptions of severity level two.