[논문 리뷰] Cyclical Stochastic Gradient MCMC for Bayesian Deep Learning

Ruqi Zhang, Chunyuan Li외 3명|arXiv (Cornell University)|2019. 02. 11.

Machine Learning and Algorithms참고 문헌 57인용 수 75

한 줄 요약

이 논문은 cyclical SG-MCMC (cSG-MCMC)와 사이클링 스텝사이클(schedule)로 자동으로 다모달 사후 분포를 탐색하는 Bayesian 딥러닝에서의 사이클릭한 단계 스케줄을 도입하고, 비점근 수렴 이론 및 ImageNet을 포함한 광범위한 실험을 제공합니다.

ABSTRACT

The posteriors over neural network weights are high dimensional and multimodal. Each mode typically characterizes a meaningfully different representation of the data. We develop Cyclical Stochastic Gradient MCMC (SG-MCMC) to automatically explore such distributions. In particular, we propose a cyclical stepsize schedule, where larger steps discover new modes, and smaller steps characterize each mode. We also prove non-asymptotic convergence of our proposed algorithm. Moreover, we provide extensive experimental results, including ImageNet, to demonstrate the scalability and effectiveness of cyclical SG-MCMC in learning complex multimodal distributions, especially for fully Bayesian inference with modern deep neural networks.

연구 동기 및 목표

• 신경망 가중치의 불확실성을 정량화하는 원칙적 접근법으로서의 Bayesian 딥러닝을 동기화합니다.
• highly multimodal 가중치 사후를 효율적으로 탐색하기 위한 cyclical stepsize SG-MCMC 방법을 개발합니다.
• cyclical scheduling 하에서의 비점근 수렴에 대한 이론적 보장을 제공합니다.
• 대규모 실험(예: ImageNet) 및 불확실성 추정으로 cSG-MCMC의 확장성 및 효과를 입증합니다.

제안 방법

• SG-MCMC에 대해 탐색을 위한 큰 스텝과 지역 샘플링을 위한 작은 스텝 사이를 교대하는 cyclical cosine 스텝사이즈를 제안합니다.
• 탐색(큰 스텝, 높은 섭동) 및 샘플링(작은 스텝, 지역 밀도 추정)이라는 두 단계 절차를 도입합니다.
• 시스템 온도(T=0은 번인, T=1은 샘플링)로 탐색과 샘플링 간의 균형을 제어하고 각 사이클 내에 단계를 전환하는 베타 임계치를 사용합니다.
• 탐색을 현재 모드를 벗어나기 위한 대형 스텝으로 주기적으로 재초기화하는 워밍 업 리스타트로 취급합니다.
• 다른 모드의 정보를 결합하기 위한 사이클 간 가중 샘플 결합 scheme를 제공합니다.

실험 결과

연구 질문

• RQ1 사이클릭 SG-MCMC가 현대 신경망에서 다모달 가중치 포스트를 효과적으로 탐색하고 특성화할 수 있는가?
• RQ2 사이클링 스케줄이 전형적인 감소하는 스텝 SG-MCMC에 비해 혼합 및 불확실성 추정이 개선되는가?
• RQ3 사이클릭 스텝사이즈 하에서 cSG-MCMC의 이론적(비점근) 수렴 보장은 무엇인가?
• RQ4 대규모 작업(예: ImageNet) 및 불확실성 정량화 작업에서 cSG-MCMC의 성능은 어떠한가?

주요 결과

• cSG-MCMC가 사이클을 사용하여 다모달 분포의 다수 모드를 발견하고 특성화하며, 모드 탐색 면에서 전통 SGLD를 능가합니다.
• ResNet-18을 사용한 CIFAR-10/100에서 사이클링 방식은 전통적인 SG-MCMC 및 Snapshot 앙상블보다 더 낮은 테스트 오차를 보이고 다양성을 향상시킵니다.
• ResNet-50을 사용한 ImageNet에서 cSG-MCMC는 테스트된 방법들 중 가장 낮은 예측 NLL를 달성하여 불확실성 모델링이 강력함을 시사합니다.
• 가중치 공간 샘플이 여러 군집을 형성하는 시각화가 되어 탐색 중 다양한 모드를 탐색하고 있음을 보여줍니다.
• notMNIST에서의 불확실성 평가에 대해 cSG-MCMC가 더 많은 가중치 공간 모드를 탐색함으로써 보정된 예측 불확실성을 제공합니다.