[논문 리뷰] Disentangling the Roles of Curation, Data-Augmentation and the Prior in the Cold Posterior Effect

Lorenzo Noci, Kevin A. Roth외 3명|arXiv (Cornell University)|2021. 06. 11.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 베이지안 신경망에서 냉기후 효과(cold posterior effect, CPE)의 원인을 데이터 정제, 데이터 증강, 사전확률의 역할을 분리하여 분석한다. CPE는 주로 데이터가 적은 상황에서 사전확률의 영향으로 발생하며, 단지 데이터 정제나 증강 때문이 아니며, 심지어 잘 정의된 단순한 합성 설정에서도 CPE가 나타날 수 있음을 보여, 유일한 근본 원인이 있다는 개념을 도전한다.

ABSTRACT

The "cold posterior effect" (CPE) in Bayesian deep learning describes the uncomforting observation that the predictive performance of Bayesian neural networks can be significantly improved if the Bayes posterior is artificially sharpened using a temperature parameter T<1. The CPE is problematic in theory and practice and since the effect was identified many researchers have proposed hypotheses to explain the phenomenon. However, despite this intensive research effort the effect remains poorly understood. In this work we provide novel and nuanced evidence relevant to existing explanations for the cold posterior effect, disentangling three hypotheses: 1. The dataset curation hypothesis of Aitchison (2020): we show empirically that the CPE does not arise in a real curated data set but can be produced in a controlled experiment with varying curation strength. 2. The data augmentation hypothesis of Izmailov et al. (2021) and Fortuin et al. (2021): we show empirically that data augmentation is sufficient but not necessary for the CPE to be present. 3. The bad prior hypothesis of Wenzel et al. (2020): we use a simple experiment evaluating the relative importance of the prior and the likelihood, strongly linking the CPE to the prior. Our results demonstrate how the CPE can arise in isolation from synthetic curation, data augmentation, and bad priors. Cold posteriors observed "in the wild" are therefore unlikely to arise from a single simple cause; as a result, we do not expect a simple "fix" for cold posteriors.

연구 동기 및 목표

• 베이지안 신경망에서 냉기후 효과(CPE)가 데이터 정제, 데이터 증강, 또는 사전확률 중 어느 것에서 기인하는지 조사하기.
• 고차원 모델에서 데이터가 제한적일 때 사전확률의 부적절한 설정이 CPE를 유발한다는 가설을 검증하기.
• CPE가 발생하기 위해 데이터 증강 또는 데이터셋 정제가 필수적인지 여부를 판단하기.
• 합성 실험에서 정제와 증강을 통제함으로써 사전확률의 기여도를 분리하기.
• 진짜 모델이 선형인데도 잘 선택된 사전확률을 가진 잘 정의된 합성 설정에서 CPE가 나타날 수 있는지 평가하기.

제안 방법

• CPE에 미치는 영향을 분리하기 위해 다양한 수준의 정제를 가진 합성 데이터셋을 사용한 통제된 실험을 수행하였다.
• CPE 유도에 있어 데이터 증강의 필요성과 충분성을 테스트하기 위해 통제된 환경에서 데이터 증강을 적용하였다.
• 온도 조절을 사용한 전체 배치 마르코프 체인 몬테카를로(MCMC)를 사용하여 온도 $T < 1$에서 사후분포를 샘플링하였다.
• 성능 향상을 정량화하기 위해 $T=1$일 때의 테스트 교차엔트로피와 $T<1$일 때의 비율인 CPE 비율(CPER)을 사용하여 CPE를 평가하였다.
• 2D 토이 데이터셋에서 1층의 MLP에서의 결정 경계를 분석하여 온도 조절이 모델 복잡도에 미치는 영향을 시각화하였다.
• 다양한 데이터셋 크기 $n$에서 성능을 비교하여, 작고 데이터가 적은 상황에서 사전확률과 가능도의 상대적 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 데이터 증강을 비활성화했을 때, 실제 정제된 데이터셋인 SVHN이나 CIFAR-10에서도 냉기후 효과(CPE)가 발생하는가?
• RQ2 실제 레이블링이나 데이터 증강 없이도 합성 데이터 정제만으로 CPE를 유도할 수 있는가?
• RQ3 CPE가 발생하기 위해 데이터 증강이 필수적인가, 아니면 증강 자체로도 효과를 낼 수 있는가?
• RQ4 특히 데이터가 적은 상황에서 사전확률이 CPE에 얼마나 기여하는가?
• RQ5 진짜 모델이 선형인데도 잘 선택된 사전확률을 가진 잘 정의된 합성 설정에서 CPE가 나타날 수 있는가?

주요 결과

• 데이터 증강을 끈 후에도 실제 정제된 데이터셋인 SVHN과 CIFAR-10에서는 CPE가 발생하지 않아, 정제가 주요 원인이라는 가설을 반박한다.
• 통제된 합성 정제 실험에서 CPE를 유도할 수 있었으며, 이는 정제 자체가 충분하지만 반드시 필요한 것은 아님을 보여준다.
• 데이터 증강은 CPE를 유도하는 데 충분하지만 필수는 아니며, 사전확률이 잘못 설정되어 있을 경우 증강 없이도 효과가 나타남을 보여준다.
• 데이터셋 크기가 작아질수록 CPE가 강화되며, 이는 데이터가 적은 상황에서 사전확률의 영향력이 점점 커짐을 시사한다.
• 온도 조절이 적용된 MCMC($T<1$)는 표준 베이즈 사후분포($T=1$)보다 더 단순한 결정 경계를 유도하며, 이는 냉기후 사후분포가 더 단순한 함수를 선호함을 시사한다.
• 진짜 모델이 선형으로 분리 가능하고 잘 정의된 사전확률을 가진 합성 토이 데이터셋에서도 CPE가 나타나, 이 효과가 모델 불일치나 부적절한 사전확률 선택 때문이라는 것이 아님을 입증한다.