[논문 리뷰] Pitfalls of Epistemic Uncertainty Quantification through Loss Minimisation

Viktor Bengs, Eyke Hüllermeier외 1명|arXiv (Cornell University)|2022. 03. 11.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 에피스테믹 불확실성(지식 기반 불확실성)을 정량화하기 위해 확률 분포의 분포를 예측하는 2차 학습자(2nd-order learners)를 훈련하기 위해 손실 최소화를 사용하는 데 대해 철저히 분석한다. 연구에서는 기존의 손실 함수가 신뢰도 있는 에피스테믹 불확실성 표현을 유도하지 못함을 입증하며, 이는 데이터 크기와 관계없이 항상 과신하거나 과소신이 되는 경향을 보이며, 기계 학습 모델에서의 불확실성 정량화의 신뢰성을 해친다.

ABSTRACT

Uncertainty quantification has received increasing attention in machine learning in the recent past. In particular, a distinction between aleatoric and epistemic uncertainty has been found useful in this regard. The latter refers to the learner's (lack of) knowledge and appears to be especially difficult to measure and quantify. In this paper, we analyse a recent proposal based on the idea of a second-order learner, which yields predictions in the form of distributions over probability distributions. While standard (first-order) learners can be trained to predict accurate probabilities, namely by minimising suitable loss functions on sample data, we show that loss minimisation does not work for second-order predictors: The loss functions proposed for inducing such predictors do not incentivise the learner to represent its epistemic uncertainty in a faithful way.

연구 동기 및 목표

• empirical 손실 최소화가 에피스테믹 불확실성을 표현하는 데 있어 신뢰성 있게 제2의 예측자를 훈련시킬 수 있는지 조사하기 위해.
• 에피스테믹 불확실성 정량화의 맥락에서 기존의 손실 함수가 제2의 학습에 유도하는 동기를 분석하기 위해.
• 증가하는 데이터를 가진다 하더라도 현재의 접근 방식이 충실한 에피스테믹 불확실성 표현으로 이어지지 않음을 입증하기 위해.
• 제2의 모델을 손실 기반으로 훈련하는 데 의존하는 널리 쓰이는 불확실성 정량화 방법의 타당성을 도전하기 위해.
• 에피스테믹 불확실성 정량화의 근본적인 어려움을 부각시키기 위해, 불확실성에 대한 기준값(ground-truth reference)이 존재하지 않기 때문이다.

제안 방법

• 저자는 제2의 학습 프레임워크를 분석하며, 이는 모델이 확률 분포의 분포(레벨-2)를 예측하여 에피스테믹 불확실성을 표현한다.
• 문헌에서 제안된 다양한 손실 함수에 대해 이러한 제2의 예측자를 훈련하기 위한 기대 손실을 검토한다.
• 형식적 분석을 통해 이러한 손실 함수를 최소화하는 것이 진정한 에피스테믹 불확실성과 일치하지 않음을 입증하며, 이는 신뢰도 추정을 왜곡시킨다.
• 다양한 표본 크기와 정규화 파라미터(λ)를 가진 시뮬레이션을 통해 제2의 모델의 행동을 평가하기 위해 합성 데이터를 사용한다.
• 레벨-2 분포의 미분 엔트로피를 사용하여 불확실성 정량화를 수행하며, 결과는 엔트로피와 모델의 신뢰도 추정치(θ̂)에 대해 보고된다.
• 이론적 분석을 이원 분류를 넘어서 다중 분류 설정에서도 검증하기 위해 포함한다.

실험 결과

연구 질문

• RQ1 기존의 제2의 학습을 위한 손실 함수는 모델이 에피스테믹 불확실성을 충실하게 표현하도록 유도하는가?
• RQ2 손실 최소화 하에서 훈련 표본 크기가 증가함에 따라 에피스테믹 불확실성이 감소하는가?
• RQ3 정규화 파라미터 λ는 모델의 신뢰도와 불확실성 표현에 어떤 영향을 미치는가?
• RQ4 손실 기반 훈련을 사용할 경우 레벨-2 불확실성 표현이 기저의 데이터 생성 과정과 독립적인가?
• RQ5 불확실성에 대한 기준값이 없는 상황에서 손실 최소화가 신뢰할 수 있는 에피스테믹 불확실성 추정치를 생성할 수 있는가?

주요 결과

• λ의 작은 값에서는 제2의 모델(ELM)이 엔트로피가 0인 점질량 분포로 붕괴하여 정당하지 않은 과신을 나타낸다.
• 큰 λ 값에서는 큰 표본 크기에도 불구하고 모델이 점질량에서 멀리 떨어져 있어 지속적인 과신 또는 과소신을 보인다.
• 레벨-2 불확실성은 다양한 λ 값과 표본 크기 사이에서도 거의 일정하게 유지되며, 레벨-1 불확실성의 상당한 변동에도 불구하고, λ가 정보적으로가 아니라 임의적으로 작용함을 보여준다.
• 표본 크기가 증가함에 따라 모델의 신뢰도 추정치(θ̂)가 진짜 값(0.5)으로 수렴하지 않아, 올바른 에피스테믹 불확실성을 학습하지 못함을 나타낸다.
• 모든 λ와 N 값에서 보고된 레벨-2 불확실성은 거의 동일하여, 손실 함수가 진정한 불확실성을 의미 있게 반영하지 못함을 입증한다.
• 결과적으로 손실 최소화가 충실한 에피스테믹 불확실성 표현을 위한 올바른 동기를 제공하지 못함을 확인하며, 이러한 방법의 신뢰성을 해친다.