[논문 리뷰] Cold Posteriors and Aleatoric Uncertainty

Ben Adlam, Jasper Snoek외 1명|arXiv (Cornell University)|2020. 07. 31.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 11

한 줄 요약

이 논문은 MNIST 및 CIFAR-10과 같은 고품질 데이터셋에서 표준 사전분포가 과도한 앨레오타릭 불확실성(almost certain uncertainty)을 유도한다는 점을 보여주며 베이지안 신경망에서의 콜드 포스터리어 효과를 설명한다. 온도를 낮추어 포스터리어를 온도 조정(temperature tempering)함으로써 모델은 이 과도하게 추정된 불확실성을 감소시켜 일반화 성능을 향상시킨다. 이는 정확한 베이지안 추론 없이도 더 적절한 사전분포를 시뮬레이션하는 효과를 가진다.

ABSTRACT

Recent work has observed that one can outperform exact inference in Bayesian neural networks by tuning the "temperature" of the posterior on a validation set (the "cold posterior" effect). To help interpret this phenomenon, we argue that commonly used priors in Bayesian neural networks can significantly overestimate the aleatoric uncertainty in the labels on many classification datasets. This problem is particularly pronounced in academic benchmarks like MNIST or CIFAR, for which the quality of the labels is high. For the special case of Gaussian process regression, any positive temperature corresponds to a valid posterior under a modified prior, and tuning this temperature is directly analogous to empirical Bayes. On classification tasks, there is no direct equivalence between modifying the prior and tuning the temperature, however reducing the temperature can lead to models which better reflect our belief that one gains little information by relabeling existing examples in the training set. Therefore although cold posteriors do not always correspond to an exact inference procedure, we believe they may often better reflect our true prior beliefs.

연구 동기 및 목표

• 베이지안 신경망에서 정확한 베이지안 추론보다 온도 T < 1인 '콜드 포스터리어'(tempered inference)가 성능을 높이는 이유를 조사하는 것.
• 일반적으로 사용되는 베이지안 신경망의 사전분포가 표준 벤치마크 데이터셋에서 앨레오타릭 불확실성을 과도하게 추정하는지 분석하는 것.
• 특히 가우시안 프로세스 모델의 맥락에서 포스터리어 온도 조정과 사전분포 설정 간의 관계를 탐색하는 것.
• 콜드 포스터리어 효과가 과도하게 레이블 불확실성을 유도하는 잘못된 사전분포를 교정하는 것으로 해석될 수 있는지 평가하는 것.
• 온도 조정이 엡스티믹 및 앨레오타릭 불확실성을 모두 감소시켜 실제 세계 데이터 특성과 더 밀접하게 일치하는 포스터리어 믿음으로 이어진다는 것을 보여주는 것.

제안 방법

• 콜드 포스터리어 효과를 분석하기 위해 계산이 용이한 모델로 가우시안 프로세스 분류를 사용하며, 잠재 함수 f(x) ~ N(0, cI)에 대한 사전분포를 설정한다.
• 포스터리어에 온도 T를 도입하여 p(θ|X,f) ∝ exp(-U(θ)/T)로 표현하며, T=1은 표준 베이지안 추론, T<1은 '콜드' 포스터리어를 의미한다.
• T<1에서의 온도 조정은 GP 회귀에서 커널 K(⋅,⋅) → TK(⋅,⋅)로 재스케일링하고 앨레오타릭 불확실성 σ²_ε → Tσ²_ε로 감소시키는 것과 수학적으로 동치임을 보여준다.
• CIFAR-10에서 GP 분류를 사용하여 경험적으로 효과를 검증하였으며, T<1일 때 로그우도와 정확도가 향상됨을 확인하였다.
• RBF 커널과 제어된 레이블 노이즈를 사용한 시뮬레이션 실험을 통해 앨레오타릭 불확실성 추정이 최적의 온도에 미치는 영향을 분리하여 분석하였다.
• 정확한, 과도하게 추정된, 그리고 부족하게 추정된 앨레오타릭 불확실성 조건 하에서 다양한 온도 설정에서의 음의 로그우도를 비교하였다.

실험 결과

연구 질문

• RQ1 표준 베이지안 원칙을 위반하는 바람에 포스터리어 온도 조정(T < 1)이 베이지안 신경망에서 성능을 향상시키는 이유는 무엇인가?
• RQ2 MNIST 및 CIFAR-10과 같은 고품질 데이터셋에서 표준 사전분포가 앨레오타릭 불확실성을 얼마나 과도하게 추정하는가?
• RQ3 콜드 포스터리어 효과가 과도하게 레이블 불확실성을 유도하는 잘못된 사전분포를 교정하는 것으로 해석될 수 있는가?
• RQ4 온도 조정이 가우시안 프로세스 모델에서 엡스티믹과 앨레오타릭 불확실성의 균형에 어떤 영향을 미치는가?
• RQ5 추론에 대한 최적의 온도가 모델의 앨레오타릭 불확실성 추정 정확도에 따라 달라지는가?

주요 결과

• MNIST 및 CIFAR-10과 같은 고품질 데이터셋에서는 베이지안 신경망의 표준 사전분포가 데이터에 존재하는 것보다 훨씬 높은 앨레오타릭 불확실성을 유도한다.
• T < 1로 포스터리어를 온도 조정하면 유추되는 앨레오타릭 불확실성이 실제 데이터의 레이블 불확실성에 더 가까워진다.
• 가우시안 프로세스 분류에서는 양의 온도 T가 수정된 사전분포 하에서 유효한 포스터리어를 제공하므로, 온도 조정은 실증 베이지안(empirical Bayes)과 유사하다.
• 회귀 문제에서는 T < 1에서의 온도 조정이 커널과 앨레오타릭 노이즈 분산 σ²_ε를 모두 재스케일링하는 것과 동치이며, 결과적으로 레이블 불확실성을 감소시킨다.
• 앨레오타릭 불확실성이 과도하게 추정될 경우 음의 로그우도는 T < 1에서 최소화되고, 과소 추정일 경우 T > 1에서 최소화된다.
• 사전분포가 레이블 모호성을 과도하게 추정할 때 콜드 포스터리어 효과가 가장 뚜렷하며, 이는 잘못된 사전분포 사양을 교정하는 데서 비롯된 것으로, 추론의 열악함을 의미하는 것이 아니라 오히려 그렇지 않다.