[논문 리뷰] Meta-Learning for Stochastic Gradient MCMC

Wenbo Gong, Yingzhen Li외 1명|arXiv (Cornell University)|2018. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 18

한 줄 요약

이 논문은 상태에 따라 변화하는 드리프트 및 확산 행렬을 파arameter화하기 위해 신경망을 활용해 해밀토니안 역학을 확장함으로써, 학습 가능한 동역학을 갖춘 스토하스틱 그래디언트 MCMC(SG-MCMC) 샘플러를 자동으로 설계하는 최초의 메타학습 프레임워크를 제안한다. 학습된 샘플러는 다양한 데이터셋과 아키텍처로 일반화되며, 더 빠른 수렴 속도와 더 높은 샘플링 효율을 보이며 베이지안 신경망 추론에서 기존의 표준 SG-MCMC 방법들을 능가한다.

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (SG-MCMC) has become increasingly popular for simulating posterior samples in large-scale Bayesian modeling. However, existing SG-MCMC schemes are not tailored to any specific probabilistic model, even a simple modification of the underlying dynamical system requires significant physical intuition. This paper presents the first meta-learning algorithm that allows automated design for the underlying continuous dynamics of an SG-MCMC sampler. The learned sampler generalizes Hamiltonian dynamics with state-dependent drift and diffusion, enabling fast traversal and efficient exploration of neural network energy landscapes. Experiments validate the proposed approach on both Bayesian fully connected neural network and Bayesian recurrent neural network tasks, showing that the learned sampler out-performs generic, hand-designed SG-MCMC algorithms, and generalizes to different datasets and larger architectures.

연구 동기 및 목표

• 특정 확률 모델, 특히 베이지안 신경망에 맞춘 SG-MCMC 샘플러의 자동 설계를 위해.
• 정확한 정적 분포를 유지하는 동역학을 설계하기 위해 수작업으로 물리적 직관이 필요로 하는 문제를 해결하기 위해.
• 학습된 샘플러가 다양한 데이터셋, 네트워크 아키텍처, 과제 복잡도 간에 일반화되도록 하기 위해.
• 간단한 과제에서 샘플러를 훈련하고 복잡한 고차원 사후 분포로 전이할 수 있는 메타학습 프레임워크를 개발하기 위해.
• 복잡한 에너지 경관을 탐색하는 데 최적의 동역학을 학습함으로써 베이지안 딥러닝에서 샘플링 효율성과 수렴 속도를 향상시키기 위해.

제안 방법

• 학습 가능한 드리프트 및 확산 행렬을 갖춘 신경망을 활용해 해밀토니안 역학을 확장한 메타학습된 SG-MCMC 샘플러를 제안한다.
• 학습 가능한 함수를 사용한 연속적인 SDE 설정을 사용하며, 드리프트(회전 행렬)와 확산(확산 행렬)에 대해 학습 가능한 함수를 정의하여 목표 사후분포가 정적 분포로 유지되도록 보장한다.
• 샘플러가 다양한 과제(예: 다른 데이터셋 또는 아키텍처)의 분포에서 훈련되어 일반화 가능한 동역학을 학습하도록 메타학습 목적함수를 사용한다.
• 내부 루프에서 SG-MCMC 동역학을 시뮬레이션하고 외부 루프에서 검증 성능에 대한 기울기를 통해 메타파rameter를 업데이트하는 이중 최적화 설정에서, 전개된 궤적을 사용해 샘플러를 훈련한다.
• 확산 행렬을 두 개의 신경망의 곱으로 파arameter화한다: 하나는 적응형 마찰을 위한 것이고, 다른 하나는 운동량 제어를 위한 것이며, 이는 에너지와 기울기 방향에 따라 동적으로 조정 가능하게 한다.
• 학습된 샘플러를 완전히 연결된 신경망과 순환 신경망 모두에 적용하여, 테스트 NLL와 수렴 속도를 평가하는 베이지안 추론 과제에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 메타학습을 사용하여 베이지안 신경망 추론을 위한 최적의 동역학을 갖춘 SG-MCMC 샘플러를 자동으로 설계할 수 있는가?
• RQ2 메타학습된 샘플러는 재학습 없이도 다양한 데이터셋과 네트워크 아키텍처로 일반화되는가?
• RQ3 학습된 동역학 샘플러는 SGHMC와 SGLD와 같은 수작업으로 설계된 SG-MCMC 알고리즘보다 샘플링 효율성과 정확도에서 뛰어나게 되는가?
• RQ4 학습된 드리프트 및 확산 행렬은 에너지 경관의 다양한 영역(예: 고에너지 영역 대비 저에너지 영역)에 어떻게 적응하는가?
• RQ5 RNN에서와 같이 다른 데이터 분포나 시퀀스 구조를 가진 과제에 적용했을 때, 메타학습된 샘플러는 성능을 유지할 수 있는가?

주요 결과

• 메타학습된 샘플러는 Piano-midi 데이터셋에서 SGHMC보다 더 빠른 수렴을 달성했으며, Santa와 Adam과 유사한 속도로 초기 학습 단계에서 유사한 성능을 보였다.
• MuseData 데이터셋에서 메타 샘플러는 SGHMC보다 더 낮은 최종 테스트 NLL를 달성하여 장기적인 샘플링에서 뛰어난 성능을 보였다.
• 메타 샘플러는 Nottingham과 JSB chorales 데이터셋으로 일반화에 성공했지만, 학습 데이터와의 분포 차이로 인해 다른 방법들보다 약간 성능이 떨어졌다.
• 마찰 네트워크의 오프셋 항목 β를 제거한 NNSGHMC-s에서는 과적합이 감소하고 JSB에서 테스트 NLL가 8.40으로 향상되어 더 높은 강인성을 보였다.
• 학습된 확산 행렬은 마찰을 동적으로 조정했다: 저에너지 영역에서는 발산을 방지하기 위해 높게, 고에너지 영역에서는 운동량을 유지하기 위해 낮게 설정되었으며, 이는 기울기 및 운동량의 부호 일치에 기반했다.
• 메타학습된 샘플러는 SGLD와 SGHMC와 같은 일반적인 SG-MCMC 방법보다 베이지안 완전 연결 및 순환 신경망 모두에서 더 뛰어난 성능을 보이며 일반화 능력과 효율성을 확인했다.