[논문 리뷰] A statistical theory of cold posteriors in deep neural networks

Laurence Aitchison|arXiv (Cornell University)|2020. 08. 13.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 7

한 줄 요약

이 논문은 베이지안 신경망에서 콜드 포스터리어의 효과가 잘못된 사전 분포 때문이 아니라 데이터셋 코호어션에서 기인함을 제안한다: CIFAR-10과 같은 표준 벤치마크는 유일하게 일치하는 레이블이 있는 예시들만 포함되도록 코호어션되어 있어, 자연스럽게 온도 조절된 포스터리어를 선호하는 가능도 구조를 유도한다. 핵심 결과는 CIFAR-10H에서 제공하는 완전한 레이블 일치(예: 50명의 인간 레이블러)를 사용할 경우 콜드 포스터리어 효과가 사라짐을 보여, 코호어션에 기인한 레이블의 확실성이 온도 조절이 필요한 이유를 설명한다.

ABSTRACT

To get Bayesian neural networks to perform comparably to standard neural networks it is usually necessary to artificially reduce uncertainty using a "tempered" or "cold" posterior. This is extremely concerning: if the prior is accurate, Bayes inference/decision theory is optimal, and any artificial changes to the posterior should harm performance. While this suggests that the prior may be at fault, here we argue that in fact, BNNs for image classification use the wrong likelihood. In particular, standard image benchmark datasets such as CIFAR-10 are carefully curated. We develop a generative model describing curation which gives a principled Bayesian account of cold posteriors, because the likelihood under this new generative model closely matches the tempered likelihoods used in past work.

연구 동기 및 목표

• 베이지안 신경망이 표준 신경망 성능을 따라잡기 위해 온도 조절(콜드 포스터리어)이 필요함에도 불구하고, 올바른 모델 가정 하에 베이지안 추론이 최적임에도 불구하고 이 모순을 해결하기 위해.
• 온도 조절이 필요한 이유가 사전 분포의 잘못된 설정 때문인지, 아니면 가능도 모델의 결함 때문인지 조사하기 위해.
• 실제로 온도 조절된 포스터리어가 더 잘 작동하는 이유를 설명하는 데이터셋 코호어션의 생성 모델을 개발하기 위해.
• CIFAR-10H 데이터셋을 진정한 일치 레이블의 대체자로 사용하여, 레이블 일치가 완전히 제공될 경우 콜드 포스터리어 효과가 사라지는지 테스트하기 위해.

제안 방법

• 모든 레이블러가 동일한 클래스에 동의할 경우에만 데이터 포인트가 포함되는 데이터셋 코호어션의 생성 모델을 제안하여, 날카운 포스터리어를 자연스럽게 선호하는 가능도를 유도한다.
• 이러한 코호어션 과정 하에서 가능도를 온도 조절 가능도와 동치로 모델링하여, 정확한 베이지안 추론 하에서 콜드 포스터리어가 자연스럽게 나타나는 이유를 설명한다.
• 각 테스트 이미지를 약 50명의 인간 레이블러가 레이블링한 CIFAR-10H 데이터셋을 사용하여 완전한 레이블 일치의 대체자로 이론을 테스트한다.
• 표준 CIFAR-10(단일 레이블)과 CIFAR-10H(다중 레이블 일치)에서 온도 조절 유무에 따라 베이지안 신경망 성능을 비교하여 코호어션의 영향을 고립시킨다.
• 레이블 일치를 방해하기 위해 제어된 레이블 노이즈를 도입하고 콜드 포스터리어 효과에 미치는 영향을 관찰한다.
• 코호어션 하에서의 가능도를 레이블 일치 확률의 곱으로 기술하여, 베이지안 업데이트 하에서 효과적으로 온도 조절 가능도가 되는 가능도를 이끌어낸다.

실험 결과

연구 질문

• RQ1 왜 베이지안 신경망은 표준 신경망 성능을 따라잡기 위해 온도 조절(콜드 포스터리어)이 필요한가?
• RQ2 온도 조절이 필요한 이유는 사전 분포의 잘못된 설정 때문인가, 아니면 가능도 모델의 특성 때문인가?
• RQ3 레이블 일치가 완전히 제공될 경우, 코호어션 모델이 예측한 바와 같이 콜드 포스터리어 효과가 사라지는가?
• RQ4 레이블 노이즈를 도입하면 콜드 포스터리어 효과에 어떤 영향을 미치며, 이는 근본 원인에 대해 어떤 시사점을 제공하는가?
• RQ5 데이터셋 코호어션의 생성 모델이 온도 조절된 포스터리어가 활용하는 통계적 패턴을 설명할 수 있는가?

주요 결과

• CIFAR-10H 데이터셋을 사용할 경우 콜드 포스터리어 효과가 크게 감소하거나 사라지며, 이는 코호어션에 기인한 온도 조절 필요성의 가설을 지지한다.
• 레이블에 인위적인 노이즈를 도입하면 콜드 포스터리어 효과가 약화되고 결국 반전되며, 성능이 온도가 약 1일 때 최고에 이르며, 이는 레이블의 확실성이 핵심임을 시사한다.
• 모든 레이블러가 동의하는 예시만 포함되는 코호어션의 생성 모델은 정확한 베이지안 추론 하에서 자연스럽게 온도 조절된 포스터리어를 유도하는 가능도 구조를 생성한다.
• 이 이론은 온도 조절이 사전 분포의 잘못된 설정을 수정하기 위한 수단이 아니라, 고품질의 코호어션 레이블에 의해 유도된 가능도 구조를 보정하기 위한 수단임을 설명한다.
• 결과는 콜드 포스터리어가 오류 있는 추론이나 사전 분포의 징후가 아니라, 표준 벤치마크에서의 데이터 생성 과정의 결과임을 시사한다.
• 이 연구는 향후 BNNs가 가능도 모델링에서 코호어션 효과를 고려해야 하며, 데이터셋 설계가 불확실성 추정에 상당한 영향을 미칠 수 있음을 암시한다.