[논문 리뷰] A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement

Matías Valdenegro-Toro, Daniel Saromo|arXiv (Cornell University)|2022. 04. 20.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 MC-Dropout 이외의 여러 불확실성 정량화 방법으로 애로타릭(aleatoric) 및 엡스티믹(epistemic) 불확실성의 분리(disentanglement)를 일반화하여, 특히 Flipout에서 엡스티믹 불확실성이 거의 0에 수렴하는 등 예상치 못한 상호작용이 발생함을 밝혀냈다. 베타-NLL 손실을 사용한 앙상블이 특히 분포 외(out-of-distribution) 설정에서 가장 높은 분리 품질과 신뢰성을 달성한다.

ABSTRACT

Neural networks are ubiquitous in many tasks, but trusting their predictions is an open issue. Uncertainty quantification is required for many applications, and disentangled aleatoric and epistemic uncertainties are best. In this paper, we generalize methods to produce disentangled uncertainties to work with different uncertainty quantification methods, and evaluate their capability to produce disentangled uncertainties. Our results show that: there is an interaction between learning aleatoric and epistemic uncertainty, which is unexpected and violates assumptions on aleatoric uncertainty, some methods like Flipout produce zero epistemic uncertainty, aleatoric uncertainty is unreliable in the out-of-distribution setting, and Ensembles provide overall the best disentangling quality. We also explore the error produced by the number of samples hyper-parameter in the sampling softmax function, recommending N > 100 samples. We expect that our formulation and results help practitioners and researchers choose uncertainty methods and expand the use of disentangled uncertainties, as well as motivate additional research into this topic.

연구 동기 및 목표

• MC-Dropout을 초월해 다른 불확실성 정량화 방법으로도 애로타릭 및 엡스티믹 불확실성의 분리를 일반화하는 것.
• 다양한 불확실성 추정 기법이 분리된 불확실성 분해의 품질에 미치는 영향을 평가하는 것.
• 딥러닝 모델에서 애로타릭 및 엡스티믹 불확실성 간 예상치 못한 상호작용을 조사하는 것.
• 분포 외 설정에서 애로타릭 불확실성 추정의 신뢰성을 평가하는 것.
• 근사 오차를 줄이기 위해 소프트맥스 샘플링 함수의 최적 샘플링 초모수(hyperparameters)를 제안하는 것.

제안 방법

• Kendall과 Gal(2017)의 분리 프레임워크를 앙상블, Flipout, 드롭아웃, 드롭코넥트 등 다양한 불확실성 정량화 방법으로 확장한다.
• 특히 회귀 과제에서 애로타릭 및 엡스티믹 불확실성 추정을 향상시키기 위해 β-NLL 손실을 적용한다.
• 소프트맥스 함수에서 다양한 수의 샘플 수(N)를 사용해 몬테카를로 샘플링을 수행하여 불확실성 추정 및 근사 오차 평가를 수행한다.
• 훈련 데이터셋에서 샘플링하여 동일한 분포 조건 하에서 불확실성을 추정하기 위해 경험적 리스크 최소화(ERM)를 적용한다.
• 토이 회귀 및 실제 분류(FER+) 및 회귀 과제에서 시각화를 통해 분리 품질을 평가한다.
• 정확도, 교차 엔트로피 손실, 예측 분포의 엔트로피 등의 지표를 사용해 다양한 방법 간 불확실성 추정을 비교한다.

실험 결과

연구 질문

• RQ1 불확실성 정량화 방법의 선택이 애로타릭 및 엡스티믹 불확실성의 분리 품질에 어떤 영향을 미치는가?
• RQ2 모델 추론 과정에서 애로타릭 및 엡스티믹 불확실성이 얼마나 상호작용하는가? 이는 이론적 가정을 위반하는가?
• RQ3 다양한 방법에서 분포 외 설정에서 애로타릭 불확실성 추정의 신뢰성은 어느 정도인가?
• RQ4 샘플링 소프트맥스 함수의 샘플 수(N)가 불확실성 근사 및 분류 정확도에 어떤 영향을 미치는가?
• RQ5 베타-NLL 손실은 애로타릭 및 엡스티믹 불확실성 추정을 향상시킬 수 있으며, 이는 분리 품질 향상에도 기여하는가?

주요 결과

• Flipout은 분포 외 케이스에서도 거의 0에 수렴하는 엡스티믹 불확실성을 생성하여, 그 분리 행동에 근본적인 결함이 있음을 시사한다.
• 분포 외 설정에서 애로타릭 불확실성 추정은 신뢰성이 떨어지며, 모델이 종종 일정한 분산을 출력한다.
• 베타-NLL 손실을 사용해 훈련한 앙상블이 회귀 및 분류 과제에서 가장 뛰어난 분리 품질을 달성한다.
• 샘플링 소프트맥스 함수의 샘플 수(N)는 근사 오차를 최소화하고 오분류를 방지하기 위해 100을 초과해야 한다.
• 엡스티믹 불확실성은 불확실성 정량화 방법에 민감한 반면, 애로타릭 불확실성 역시 예상치 못하게 방법 선택에 영향을 받으며, 이는 이론적 가정을 위반한다.
• 베타-NLL 손실은 애로타릭 및 엡스티믹 불확실성 추정을 모두 향상시키며, 이는 이전에 애로타릭 불확실성에만 적용된 것의 유효성을 확장한다.