[논문 리뷰] High-Order Stochastic Gradient Thermostats for Bayesian Learning of Deep Models

Chunyuan Li, Changyou Chen외 2명|arXiv (Cornell University)|2015. 12. 23.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 4

한 줄 요약

이 논문은 베이지안 딥러닝에서 다변량 스토케스틱 그래디언트 테라모스탯(мSGNHT)을 위한 고차 대칭 분할 적분기(Sl)를 제안한다. 기존의 표준 오일러 적분기를 대체하여 수치 정확도와 강인성을 향상시킨다. SSI 기반의 mSGNHT-S는 더 빠른 수렴 속도, 더 나은 일반화 성능 및 딥 모델에서의 뛰어난 성능을 보이며, 특히 기울기가 불안정한 조건에서도 유의미한 성능 향상을 보인다.

ABSTRACT

Learning in deep models using Bayesian methods has generated significant attention recently. This is largely because of the feasibility of modern Bayesian methods to yield scalable learning and inference, while maintaining a measure of uncertainty in the model parameters. Stochastic gradient MCMC algorithms (SG-MCMC) are a family of diffusion-based sampling methods for large-scale Bayesian learning. In SG-MCMC, multivariate stochastic gradient thermostats (mSGNHT) augment each parameter of interest, with a momentum and a thermostat variable to maintain stationary distributions as target posterior distributions. As the number of variables in a continuous-time diffusion increases, its numerical approximation error becomes a practical bottleneck, so better use of a numerical integrator is desirable. To this end, we propose use of an efficient symmetric splitting integrator in mSGNHT, instead of the traditional Euler integrator. We demonstrate that the proposed scheme is more accurate, robust, and converges faster. These properties are demonstrated to be desirable in Bayesian deep learning. Extensive experiments on two canonical models and their deep extensions demonstrate that the proposed scheme improves general Bayesian posterior sampling, particularly for deep models.

연구 동기 및 목표

• 스토케스틱 그래디언트 MCMC(SG-MCMC)를 사용한 딥 베이지안 모델에서 오일러 적분기의 수치적 불안정성과 느린 수렴 문제를 해결하기 위해.
• 기울기가 소멸되거나 폭발하는 딥 모델에서 사후 분포 샘플링의 정확도와 강인성을 향상시키기 위해.
• 고차 수치 적분을 활용하여 mSGNHT의 효율성과 확장성을 향상시키기 위해.
• 얕은 모델과 깊은 모델 모두에서 대칭 분할 적분기(SSI)가 오일러 적분기에 비해 우월함을 입증하기 위해.
• 대규모 베이지안 딥러닝을 위한 더 신뢰할 수 있고 빠른 샘플링 프레임워크 제공하기 위해.

제안 방법

• mSGNHT의 1차 오일러 적분기를 2차 대칭 분할 적분기(SSI)로 대체하여 이산화 오차를 감소시킨다.
• mSGNHT의 연속시간 이토 확산 공식에 SSI를 적용하여 목표 사후분포를 정적 분포로 유지한다.
• 드리프트 항과 확산 항을 분리하여 수치적 안정성과 정확도를 향상시키는 대칭 분할 기법을 사용한다.
• 각 파라미터에 대해 별도의 테라모스탯 변수를 갖는 다변량 테라모스탯 시스템을 도입하여 적응성과 수렴성을 향상시킨다.
• mSGNHT 프레임워크 내부에 SSI를 통합하여 세부 균형을 유지하고 정확한 사후분포 수렴을 보장한다.
• 딥 푸아송 인자분석에서 확장된 자연 재매개변수화를 활용하여 확률 단체 위에서 샘플링을 수행한다.

실험 결과

연구 질문

• RQ1 고차 수치 적분기는 베이지안 딥러닝에서 mSGNHT의 정확도와 수렴 속도를 향상시킬 수 있는가?
• RQ2 딥 모델에서 스텝 사이즈 선택에 대한 강인성 측면에서 대칭 분할 적분기(SSI)는 오일러 적분기에 비해 어떻게 비교되는가?
• RQ3 SSI 기반 mSGNHT(mSGNHT-S)는 딥 네트워크 및 기타 모델에서 오일러 기반 mSGNHT(mSGNHT-E)에 비해 더 나은 사후 샘플링과 일반화 성능을 제공하는가?
• RQ4 mSGNHT-S는 딥 베이지안 모델에서 기울기 소멸/폭발 문제를 어느 정도 완화하는가?
• RQ5 Wikipedia와 같은 대규모 데이터셋에서 예측 퍼즐리티 측면에서 mSGNHT-S는 최신 기술보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 모든 테스트 모델, 즉 딥 네트워크와 딥 푸아송 인자분석을 포함하여, mSGNHT-S는 mSGNHT-E보다 더 빠르고 정확하게 수렴한다.
• 4층 피드포워드 신경망에서, mSGNHT-E는 스텝 사이즈 $ h = 10^{-4} $ 에서 수렴에 실패하지만, mSGNHT-S는 안정적이고 효과적으로 작동한다.
• $ h = 5 \times 10^{-5} $ 에서 mSGNHT-S는 mSGNHT-E보다 유의미하게 높은 테스트 정확도와 낮은 음의 로그우도를 달성한다.
• Wikipedia 데이터셋에서, mSGNHT-S는 mSGNHT-E보다 낮은 예측 퍼즐리티를 기록했으며, DPFA-SBN 및 NB-FTM과 같은 최신 기술을 초월한다.
• 그림 5의 확대된 그래프는 최종 10,000개 문서 동안 mSGNHT-S가 다른 방법들보다 일관되게 뛰어난 성능을 보임을 확인한다. 이는 더 빠른 수렴을 뒷받침한다.
• 이 방법은 스텝 사이즈 선택에 대해 강인성을 보이며, 깊은 아키텍처에서 기울기가 불안정하더라도 효과적인 학습이 가능하다.