[논문 리뷰] Bridging the Gap between Stochastic Gradient MCMC and Stochastic Optimization

Changyou Chen, David Carlson외 3명|arXiv (Cornell University)|2015. 12. 25.

Markov Chains and Monte Carlo Methods참고 문헌 34인용 수 49

한 줄 요약

이 논문은 적응형 조절과 요소별 동량을 갖춘 확률적 경량 최적화 알고리즘인 Santa를 제안한다. 이는 온도 감소를 통해 확률적 경량 MCMC 방법을 안내하는 데서 유도된 것이다. 온도 감소를 통해 베이지안 샘플링에서 최적화로의 전이를 통해 Santa는 딥 뉴럴 네트워크에서 최신 기술 성능을 달성하며, FNN, CNN, RNN 전반에서 테스트 오차와 수렴 속도 면에서 Adam, RMSprop, SGD 유형보다 뛰어나다.

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (SG-MCMC) methods are Bayesian analogs to popular stochastic optimization methods; however, this connection is not well studied. We explore this relationship by applying simulated annealing to an SGMCMC algorithm. Furthermore, we extend recent SG-MCMC methods with two key components: i) adaptive preconditioners (as in ADAgrad or RMSprop), and ii) adaptive element-wise momentum weights. The zero-temperature limit gives a novel stochastic optimization method with adaptive element-wise momentum weights, while conventional optimization methods only have a shared, static momentum weight. Under certain assumptions, our theoretical analysis suggests the proposed simulated annealing approach converges close to the global optima. Experiments on several deep neural network models show state-of-the-art results compared to related stochastic optimization algorithms.

연구 동기 및 목표

• 확률적 경량 MCMC(SG-MCMC)와 확률적 최적화 사이의 이론적·실용적 격차를 메우기 위해 이들의 알고리즘적 구조를 통합함으로써.
• 기존의 단일 고정 동량 파rameter를 사용하는 확률적 최적화 방법의 한계를 해결하기 위해 적응형 요소별 동량 가중치를 도입함으로써.
• 비볼록 딥 러닝 목표 함수에서 효율적인 매개변수 공간 탐색을 가능하게 하기 위해 온도 감소된 SG-MCMC를 통해 최적화 성능을 향상시키기 위해.
• 비볼록 설정 하에서 제안된 방법에 대한 이론적 수렴 분석을 제공하여 국소 최적해 근처의 해로 수렴함을 제안함으로써.
• 피드포워드, 컨volutional, 순환 네트워크를 포함한 다양한 딥 뉴럴 네트워크 아키텍처에서 제안된 방법의 우수성을 실증적으로 검증함으로써.

제안 방법

• 시뮬레이션된 냉각을 확률적 경량 열역학 알고리즘(SGNHT)에 적용하여 온도를 점차 감소시킴으로써 베이지안 샘플링에서 최적화로의 전이를 유도함.
• 리만 기하학적 정보 이론을 사용한 적응형 조절자를 도입하여 기존 RMSprop 및 Adam과 유사하게 이전 분산 기반으로 기울기를 요소별로 스케일링함.
• 모델 매개변수와 동량 변수 양쪽에 대해 적응형 요소별 동량 가중치를 통합하여 각 매개변수에 맞는 동적 적응을 가능하게 함.
• 온도에 따라 변화하는 이동 및 확산 항을 갖는 확률적 미분 방정식(SDE)으로 알고리즘을 수식화하여 이론적 분석을 가능하게 함.
• 온도 감소 스케줄을 사용하여 시스템을 완전한 탐색(고온도)에서 이용(영온도)으로 이동시키며, 이는 새로운 확률적 최적화 알고리즘으로 수렴함.
• 온도 감소된 마르코프 체인의 편향과 분산을 바탕으로 수렴 경계를 유도하여 비볼록 설정에서 국소 최적해 근처로 수렴하는 데 이론적 근거를 제공함.

실험 결과

연구 질문

• RQ1 시뮬레이션된 냉각을 통해 확률적 경량 MCMC 방법을 체계적으로 효과적인 확률적 최적화 알고리즘으로 전환할 수 있는가?
• RQ2 고정된 공유 동량 대비 적응형 요소별 동량과 조절을 사용할 경우 SGD의 최적화 성능 향상은 어떻게 이루어지는가?
• RQ3 온도 감소된 SG-MCMC 프레임워크는 비볼록 딥 러닝 문제에서 국소 최적해에 가까운 해로 수렴하는가?
• RQ4 제안된 방법은 아키텍처 수정 없이 다양한 딥 뉴럴 네트워크 아키텍처에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 편향과 분산 측면에서 온도 감소된 마르코프 체인의 이론적 행동은 무엇이며, 이는 비볼록 설정에서 수렴과 어떻게 관련되는가?

주요 결과

• Santa는 200-200 완전 연결 네트워크를 사용해 MNIST에서 테스트 오차 0.47%를 기록하며, Adam(1.53%), RMSprop(1.59%), SGD(1.72%)를 모두 앞서나간다.
• 표준 CNN 아키텍처에서 Santa는 0.47%의 테스트 오차를 기록하며, 더 복잡한 모델들에서의 최신 기술 성능과 동등하거나 이를 초월한다.
• RNN을 사용한 Piano-midi.de 데이터셋에서 Santa는 음수 로그우도 7.60을 기록하여 Adam(8.00)과 RMSprop(7.70)를 포함한 모든 비교 방법들 중에서 가장 우수한 성능을 보였다.
• Santa는 모든 작업에서 기준 방법들보다 더 빠르게 수렴하지만, 초기 과적합 현상이 나타나나, 조기 정지 기법으로 효과적으로 완화된다.
• 이론적 분석에 따르면 특정 가정 하에 Santa는 비볼록 설정에서 국소 최적해 근처의 해로 수렴함을 시사한다.
• Santa의 영온도 극한은 적응형 조절과 각 매개변수별 동량을 갖춘 새로운 확률적 최적화 알고리즘을 회복하며, 기존의 동량을 갖춘 표준 SGD와 근본적으로 다릅니다.