[논문 리뷰] Measuring Orthogonality as the Blind-Spot of Uncertainty Disentanglement

Ivo Pascal de Jong, Andreea Ioana Sburlea외 2명|ArXiv.org|2024. 08. 22.

Clinical Laboratory Practices and Quality ControlMedicine인용 수 3

한 줄 요약

이 논문은 불확실성 정량화(UQ) 방법에서 난수성 불확실성과 지식 부족성 불확실성의 분리 정도를 평가하기 위한 종합적인 실험 프레임워크를 제안한다. 데이터셋 크기, OoD 샘플, 레이블 노이즈와 같은 통제된 데이터 조작을 통해, 정보 이론적 접근과 가우시안 로짓 방법 양쪽 모두가 두 불확실성 유형을 완전히 분리하지 못함을 입증한다. 특히 정보 이론적 접근은 더 나은 성능를 보이지만 여전히 완벽하지 않다.

ABSTRACT

Aleatoric (data) and epistemic (knowledge) uncertainty are textbook components of Uncertainty Quantification. Jointly estimating these components has been shown to be problematic and non-trivial. As a result, there are multiple ways to disentangle these uncertainties, but current methods to evaluate them are insufficient. We propose that aleatoric and epistemic uncertainty estimates should be orthogonally disentangled - meaning that each uncertainty is not affected by the other - a necessary condition that is often not met. We prove that orthogonality and consistency and necessary and sufficient criteria for disentanglement, and construct Uncertainty Disentanglement Error as a metric to measure these criteria, with further empirical evaluation showing that finetuned models give different orthogonality results than models trained from scratch and that UDE can be optimized for through dropout rate. We demonstrate a Deep Ensemble trained from scratch on ImageNet-1k with Information Theoretic disentangling achieves consistent and orthogonal estimates of epistemic uncertainty, but estimates of aleatoric uncertainty still fail on orthogonality.

연구 동기 및 목표

• 현재 UQ 방법에서 난수성 불확실성과 지식 부족성 불확실성이 실제로 분리되어 있는지에 대한 경험적 검증 부족 문제를 해결하기 위해.
• 기존의 불확실성 정량화 접근 방식이 내림받는 의사결정을 위해 요구되는 바에 따라 불확실성의 원천을 신뢰성 있게 분리하는지 확인하기 위해.
• 미래의 UQ 방법에서 분리 정도 평가를 위한 표준화되고 이론적으로 탄탄한 실험 기준을 설정하기 위해.
• 불확실성 분리의 이론적 한계가 실제 모델 행동에 나타나는지, 실제 데이터 및 합성 데이터에서의 실습을 통해 조사하기 위해.

제안 방법

• 데이터셋 크기, 분포 외(OoD) 입력, 레이블 노이즈를 조작하여 난수성 또는 지식 부족성 불확실성의 변화를 고립시키는 통제된 실험을 설계한다.
• 베이지안 신경망에 정보 이론적 접근과 가우시안 로짓 방법을 적용하고 예측된 불확실성 반응을 측정한다.
• MC-Dropout, MC-DropConnect, Deep Ensembles를 추론 방법으로 사용하여 다양한 모델 변종에서의 불확실성 추정을 평가한다.
• 예측된 난수성 불확실성이 지식 부족성 불확실성 조작에 반응하는지(그 반대의 경우도 마찬가지로), 통제된 진실 조건 하에서 분리 정도를 평가한다.
• 진정한 기저 불확실성이 상관관계가 없을 때 예측된 불확실성 간의 상관관계가 없을 경우를 분리 정도로 정의한다.
• 합성 및 실제 세계 데이터셋에 프레임워크를 적용하여 평가 프로토콜의 일반화 및 강건성 테스트를 수행한다.

(a) Aleatoric

실험 결과

연구 질문

• RQ1 현행 UQ 방법이 실제로 난수성 불확실성과 지식 부족성 불확실성을 어느 정도 분리하는가?
• RQ2 정보 이론적 접근과 가우시안 로짓 방법이 데이터셋 크기와 레이블 노이즈를 통제적으로 조작했을 때 어떻게 성능을 보이는가?
• RQ3 이론적 기대와는 반대로, OoD 샘플에서 예측된 난수성 불확실성이 증가하는가?
• RQ4 진정한 지식 부족성 불확실성이 그대로일 때, 난수성 불확실성의 변화가 예측된 지식 부족성 불확실성에 영향을 미치는가?
• RQ5 제안된 실험 프레임워크가 향후 분리된 불확실성 방법 평가를 위한 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• 정보 이론적 접근은 가우시안 로짓 방법보다 더 나은 분리 정도를 달성하지만, 어느 한 방법도 난수성 불확실성과 지식 부족성 불확실성을 완전히 분리하지 못한다.
• 양측 모두 상당한 교차 오염을 보인다: 오직 난수성 불확실성만 조작했을 때도 예측된 지식 부족성 불확실성이 증가하고, 그 반대의 경우도 마찬가지로 나타난다.
• 가우시안 로짓 방법은 MC-Dropout와 MC-DropConnect를 사용할 경우 지식 부족성 불확실성의 변화를 제대로 반영하지 못하지만, Deep Ensembles를 사용할 땐 더 나은 성능를 보인다.
• 두 방법 모두 OoD 샘플에서 난수성 불확실성이 증가하여, 이론적 기대와는 정반대인 결과를 보인다.
• Wimmer 등(2023)이 제시한 이론적 한계는 실질적인 모델 행동에서도 나타난다: 최대 난수성 불확실성 조건에서 지식 부족성 불확실성 예측이 붕괴된다.
• 제안된 실험 프레임워크는 향후 불확실성 원천을 분리하려는 모든 UQ 방법의 분리 정도 평가를 위한 강력하고 표준화된 기준이 된다.

(b) Epistemic