[논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification

Sanyam Kapoor, Wesley J. Maddox외 2명|arXiv (Cornell University)|2022. 03. 30.

Gaussian Processes and Bayesian Inference인용 수 9

한 줄 요약

이 논문은 분류 작업을 위한 베이지안 신경망에서 디리클레 관측 모델을 사용하여 난류 불확실성(aleatoric uncertainty)을 명시적으로 모델링하는 방법을 제안한다. 이는 사후 분포의 온도 조정(후행 조정, posterior tempering)이 필요 없도록 한다. 데이터 증강이 난류 불확실성을 효과적으로 증가시키며, 온도 T < 1인 냉각 사후 분포(cold posteriors)는 이에 자연스럽게 반영되지만, 디리클레 모델은 농도 매개변수를 통해 직접 불확실성을 제어함으로써 온도 조정 없이도 뛰어난 성능을 달성한다.

ABSTRACT

Aleatoric uncertainty captures the inherent randomness of the data, such as measurement noise. In Bayesian regression, we often use a Gaussian observation model, where we control the level of aleatoric uncertainty with a noise variance parameter. By contrast, for Bayesian classification we use a categorical distribution with no mechanism to represent our beliefs about aleatoric uncertainty. Our work shows that explicitly accounting for aleatoric uncertainty significantly improves the performance of Bayesian neural networks. We note that many standard benchmarks, such as CIFAR, have essentially no aleatoric uncertainty. Moreover, we show data augmentation in approximate inference has the effect of softening the likelihood, leading to underconfidence and profoundly misrepresenting our honest beliefs about aleatoric uncertainty. Accordingly, we find that a cold posterior, tempered by a power greater than one, often more honestly reflects our beliefs about aleatoric uncertainty than no tempering -- providing an explicit link between data augmentation and cold posteriors. We show that we can match or exceed the performance of posterior tempering by using a Dirichlet observation model, where we explicitly control the level of aleatoric uncertainty, without any need for tempering.

연구 동기 및 목표

• 표준 소프트맥스 우도가 레이블 노이즈나 데이터 불확실성을 고려하지 않기 때문에, 베이지안 분류에서 난류 불확실성의 명시적 모델링이 부족한 문제를 해결하기 위해.
• 데이터 증강이 근사 베이지안 추론에서 난류 불확실성의 효과적 수준에 어떤 영향을 미치는지 조사하기 위해.
• 냉각 사후 분포 효과(cold posterior effect)를 데이터 증강과 모델 오류(specification)로 인한 난류 불확실성의 잘못된 표현으로 설명하기 위해.
• 난류 불확실성을 직접 제어할 수 있는 디리클레 관측 모델을 제안하여 사후 분포 온도 조정이 필요 없도록 하기 위해.
• 적절한 난류 불확실성 모델링이 사후 분포 온도 조정이나 표준 우도보다 더 나은 성능과 더 솔직한 불확실성 추정을 가능하게 한다는 것을 보여주기 위해.

제안 방법

• 베이지안 신경망에서 표준 소프트맥스 우도를 클래스 확률에 대한 디리클레 분포로 해석함으로써 난류 불확실성을 명시적으로 모델링할 수 있도록 한다.
• 농도 매개변수를 입력에 따라 달라지게 하는 노이즈가 포함된 디리클레 모델을 도입하여, 각 입력에 대해 불확실성을 적응적으로 조절할 수 있도록 한다.
• 데이터 증강이 우도를 부드럽게 하여 난류 불확실성을 효과적으로 증가시키며, 이는 냉각 사후 분포 효과를 설명한다.
• 온도 T < 1인 사후 분포 온도 조정이 진짜 클래스의 디리클레 분포 농도 매개변수를 증가시키는 것과 동일하므로, 더 높은 신뢰도를 모델링하는 것임을 보여준다.
• CIFAR 및 기타 벤치마크에서 성능을 실험적으로 평가하여 표준 BNN, 온도 조정된 사후 분포, 그리고 제안된 디리클레 모델을 비교한다.
• 근사 추론(예: 변분 추론)을 사용한 베이지안 신경망을 사용하며, 예측 정확도와 불확실성 캘리브레이션을 평가한다.

실험 결과

연구 질문

• RQ1 왜 냉각 사후 분포 효과가 베이지안 신경망에서 지속되며, 이는 모델 오류(specification)의 징후인가?
• RQ2 데이터 증강은 베이지안 분류에서 난류 불확실성의 효과적 수준에 어떤 영향을 미치는가?
• RQ3 분류 작업에서 회귀에서 노이즈 분산과 유사하게 난류 불확실성을 명시적으로 모델링할 수 있는가?
• RQ4 디리클레 관측 모델은 베이지안 신경망에서 사후 분포 온도 조정이 필요 없도록 하는가?
• RQ5 명시적인 난류 불확실성 모델링은 예측 성능과 불확실성 캘리브레이션을 어떻게 향상시키는가?

주요 결과

• 데이터 증강은 베이지안 신경망에서 효과적인 난류 불확실성을 증가시키며, 이는 T < 1인 냉각 사후 분포가 T = 1일 때보다 성능이 뛰어난 이유를 설명한다.
• 냉각 사후 분포 효과는 표준 우도가 데이터 증강으로 인해 증가한 난류 불확실성을 제대로 표현하지 못하기 때문에 발생한다.
• 제안된 디리클레 관측 모델은 농도 매개변수를 통해 난류 불확실성을 직접 제어할 수 있으며, 이는 온도 조정 없이도 온도 조정된 사후 분포의 성능을 따라하거나 초월한다.
• 적절하게 설정된 난류 불확실성 모델링을 한 모델는 사후 분포 온도 조정이 필요 없으며, 이는 온도 조정이 필수적인 수정이 아니라 모델 오류의 징후임을 시사한다.
• 데이터 증강이 없는 모델에서는 냉각 사후 분포 효과가 나타나지 않는 것은 기본적인 베이지안 추론의 성질이 아니라, 모델 오류의 산물이다.
• 적절한 난류 불확실성 모델링은 더 솔직한 불확실성 추정과 더 나은 예측 정확도를 이끌어내며, 특히 분포 이탈 상황에서 두드러진다.