[논문 리뷰] Good Initializations of Variational Bayes for Deep Models

Simone Rossi, Pietro Michiardi외 1명|Graduate School and Research Center in Digital Science (EURECOM)|2018. 10. 18.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

이 논문은 깊이 있는 모델에서 확률적 변분 추론(SVI)를 위한 계층별 초기화 전략인 반복적 베이지안 선형 모델링(i-BLM)을 제안한다. 이는 베이지안 선형 모델을 사용해 변분 사후분포를 초기화함으로써 베이지안 딥 네ural 네트워크와 컨볼루션 네트워크에서 더 빠르고 안정적인 수렴을 가능하게 하며, 단순한 가우시안 사후분포를 사용함으로써 몽테카를로 드롭아웃 및 노이즈가 있는 KFAC와 유사한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Stochastic variational inference is an established way to carry out approximate Bayesian inference for deep models. While there have been effective proposals for good initializations for loss minimization in deep learning, far less attention has been devoted to the issue of initialization of stochastic variational inference. We address this by proposing a novel layer-wise initialization strategy based on Bayesian linear models. The proposed method is extensively validated on regression and classification tasks, including Bayesian DeepNets and ConvNets, showing faster and better convergence compared to alternatives inspired by the literature on initializations for loss minimization.

연구 동기 및 목표

• 베이지안 딥 러닝에서 확률적 변분 추론(SVI)을 위한 체계적인 초기화 전략 부족 문제를 해결하기 위해.
• 베이지안 선형 모델을 활용해 초기화함으로써, 깊이 있는 모델에서 SVI의 수렴 속도와 해의 품질을 향상시키기 위해.
• 깊이 있는 아키텍처인 컨볼루션 네트워크(CNNs)에서 복잡한 구조를 위해 단순한 가우시안 사후분포 근사의 효과적인 사용을 가능하게 하기 위해.
• 회귀 및 분류 작업 모두에서 손실 최소화에 기반한 초기화 방법과 비교해, i-BLM이 SVI에서 더 빠른 수렴과 더 나은 성능을 보임을 경험적으로 검증하기 위해.
• SVI에 i-BLM 초기화를 적용했을 때, 이미지 분류 벤치마크에서 몽테카를로 드롭아웃 및 노이즈가 있는 KFAC와 같은 최신 기술 수준의 방법과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• i-BLM은 각 계층의 활성화 값에서 타겟 레이블로의 회귀를 수행하는 베이지안 선형 모델을 훈련시켜 계층별로 초기화를 수행한다.
• 각 계층 l에 대해, 이전 계층의 활성화 값에 기반해 훈련된 베이지안 선형 회귀 모델을 사용해 가중치에 대한 사후분포를 학습한다.
• 학습된 베이지안 선형 모델의 사후 평균과 분산을 사용해, SVI에서의 가우시안 사후분포의 변분 파라미터(평균 및 로그 분산)를 초기화한다.
• 초기화 과정은 첫 번째 은닉 계층에서부터 최종 계층까지 반복적으로 적용되며, 추가적인 계산 오버헤드 없이도 확장 가능하고 효율적인 초기화를 가능하게 한다.
• 이 방법은 피드포워드 네트워크와 컨볼루션 아키텍처 모두와 호환되며, LeNet-5, AlexNet, VGG16 등 다양한 구조에 적용 가능하다.
• 과도한 파rameter화 문제를 다루기 위해, 훈련 과정에서 ELBO의 KL 발산 항을 점진적으로 올리는 온도 조절 기법을 포함하여, 초기 최적화 단계에서 사전분포의 영향을 줄인다.

실험 결과

연구 질문

• RQ1 베이지안 선형 모델 기반 초기화는 깊이 있는 신경망에서 확률적 변분 추론의 수렴과 성능을 향상시킬 수 있는가?
• RQ2 i-BLM은 표준 초기화가 실패하는 깊이 있는 컨볼루션 네트워크에서, 인과적 가우시안 사후분포를 사용한 SVI의 효과적인 학습을 가능하게 하는가?
• RQ3 손실 최소화에 기반한 초기화 전략과 비교했을 때, i-BLM은 수렴 속도와 최종 성능 측면에서 어떤가?
• RQ4 단순한 가우시안 사후분포와 i-BLM 초기화를 사용한 SVI는 몽테카를로 드롭아웃 및 노이즈가 있는 KFAC와 같은 고급 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 사전분포의 설정은 깊이 있는 모델에서 SVI의 최적화 역학에 어떤 영향을 미치는가?

주요 결과

• i-BLM는 손실 최소화에 기반한 초기화 방법보다 SVI의 수렴 속도가 현저히 빠르며, 이는 회귀 및 분류 작업 모두에서 관찰된다.
• MNIST 및 CIFAR-10에서 VGG16을 사용할 경우, i-BLM을 적용한 SVI는 테스트 음의 로그가능도(NLL)가 0.6443을 기록하여 몽테카를로 드롭아웃(0.8213)과 노이즈가 있는 KFAC(0.7327)를 모두 초월한다.
• CIFAR-10에서 VGG16을 사용할 경우, i-BLM을 적용한 SVI의 오차율은 0.1682로, 몽테카를로 드롭아웃(0.2147)과 비교해 경쟁 가능하며, 노이즈가 있는 KFAC(0.1506)보다 약간 우수하다.
• i-BLM을 사용하면, 일반적으로 열악한 초기화로 인해 잡음 없는 해(사후분포가 사전분포와 동일)로 수렴하는 깊이 있는 컨볼루션 네트워크에서도 효과적으로 이를 방지할 수 있다.
• 이 방법을 통해 단순한 인과적 가우시안 사후분포를 사용한 SVI가 VGG16을 사용한 CIFAR-10에서 최신 기술 수준의 성능을 달성함으로써, 과도하게 파rameter화된 모델에서도 효과적임을 입증한다.
• 제거 실험 결과, i-BLM은 다른 초기화 전략보다 더 나은 불확실성 캘리브레이션과 더 신뢰할 수 있는 외삽 불확실성 추정을 제공함을 확인했다.