[논문 리뷰] Preconditioned Stochastic Gradient Langevin Dynamics for Deep Neural Networks

Chunyuan Li, Changyou Chen외 2명|arXiv (Cornell University)|2015. 12. 23.

Markov Chains and Monte Carlo Methods참고 문헌 39인용 수 175

한 줄 요약

이 논문은 최적화에서 유래한 적응형 전치(preconditioning)와 확률적 경량화 MCMC를 조합하여 깊은 신경망에서 샘플링 효율성과 일반화 성능을 향상시키는 전치된 확률적 경량화 랑주비안 동역학(pSGLD)을 제안한다. 곡률 인식 전치를 활용함으로써 pSGLD는 더 빠른 수렴과 피드포워드 및 컨볼루션 네트워크 모두에서 MNIST에서 최신 기술 수준의 테스트 정확도를 달성하며, 표준 SGLD 및 SGD 기반 방법보다 뛰어나다.

ABSTRACT

Effective training of deep neural networks suffers from two main issues. The first is that the parameter spaces of these models exhibit pathological curvature. Recent methods address this problem by using adaptive preconditioning for Stochastic Gradient Descent (SGD). These methods improve convergence by adapting to the local geometry of parameter space. A second issue is overfitting, which is typically addressed by early stopping. However, recent work has demonstrated that Bayesian model averaging mitigates this problem. The posterior can be sampled by using Stochastic Gradient Langevin Dynamics (SGLD). However, the rapidly changing curvature renders default SGLD methods inefficient. Here, we propose combining adaptive preconditioners with SGLD. In support of this idea, we give theoretical properties on asymptotic convergence and predictive risk. We also provide empirical results for Logistic Regression, Feedforward Neural Nets, and Convolutional Neural Nets, demonstrating that our preconditioned SGLD method gives state-of-the-art performance on these models.

연구 동기 및 목표

• 깊은 신경망 학습에서 기형적인 곡률과 과적합이라는 이중 과제를 해결하기 위해.
• 비볼록이고 고차원적인 매개변수 공간에서 확률적 경량화 랑주비안 동역학(SGLD)의 효율성과 샘플링 정확도를 향상시키기 위해.
• 확장 가능한 전치된 MCMC 샘플링을 통해 깊은 네트워크에서 효과적인 베이지안 불확실성 추정을 가능하게 하기 위해.
• 표본 기반 불확실성 추정을 통해 피드포워드 및 컨볼루션 신경망에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 방법은 RMSprop에서 영감을 얻은 적응형 전치 행렬을 도입하여 SGLD를 확장함으로써, 국소 곡률 정보에 기반해 단계 크기를 동적으로 조정한다.
• 전치는 확률적 경량화에 적용되며, 각 매개변수 갱신이 기울기의 이전 분산에 따라 스케일링된다.
• 알고리즘은 점차 감소하는 단계 크기 스케줄을 사용하여 진정한 사후 분포로의 점근적 수렴을 보장한다.
• 각 반복마다 등방성 노이즈를 주입함으로써 매개변수 공간 탐색과 사후 샘플링을 가능하게 한다.
• 전치는 최소한의 계산 오버헤드로 온라인으로 업데이트되며, 확장성 유지한다.
• 방법은 완전히 연결된 네트워크와 컨볼루션 네트워크 모두에 적용되며, 초모델은 격자 검색을 통해 튜닝된다.

실험 결과

연구 질문

• RQ1 적응형 전치는 기형적인 곡률을 가진 깊은 신경망에서 SGLD의 수렴 속도와 샘플링 효율성을 향상시킬 수 있는가?
• RQ2 표준 SGLD 및 SGD와 비교해 전치된 SGLD는 테스트 정확도와 일반화 성능에서 어떻게 다른가?
• RQ3 곡률 인식 전치를 통합하면 더 나은 사후 근사와 향상된 예측 위험도를 달성할 수 있는가?
• RQ4 pSGLD는 다양한 네트워크 아키텍처와 증가하는 모델 깊이에서 성능 향상을 유지할 수 있는가?

주요 결과

• MNIST 데이터셋에서 pSGLD는 표준 컨볼루션 네트워크에서 테스트 오차 0.45%를 기록하여 SGD(0.82%)와 SGLD(0.71%)를 크게 앞서갔다.
• 1200-1200 피드포워드 네트워크에서 pSGLD는 최신 기술 수준의 테스트 정확도를 달성했으며, 사전 분산이 1에서 100으로 증가함에 따라 성능이 향상되었다.
• pSGLD는 SGLD 및 SGD보다 더 빠른 수렴과 더 안정적인 학습 곡선을 보였으며, 추정기의 분산이 감소했다.
• 이 방법은 네트워크 크기 변화에 관계없이 일관된 향상을 보였으며, 드롭아웃과 BPB와 달리 깊이 증가에 따라 스케일링이 잘 되지 않았다.
• 실험 결과 pSGLD가 효과적으로 모델 불확실성을 포착했으며, 사전 분산이 높아질수록 가중치 분포가 넓어지는 경향을 보였다.
• pSGLD의 단순화된 버전은 전체 앙상블 평균화 없이도 강력한 성능을 유지했으며, 효율적인 추론을 가능하게 했다.