[논문 리뷰] Langevin Dynamics with Continuous Tempering for Training Deep Neural Networks

Nanyang Ye, Zhanxing Zhu외 1명|arXiv (Cornell University)|2017. 03. 13.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 8

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 이중 단계 학습 방법인 연속적으로 온도를 조절하는 랑주비안 역학(CTLD)을 제안한다. 이 방법은 먼저 손실 곡면을 탐색하고 열악한 국소 최소값에서 벗어나기 위해 적응형 온도 조절을 통한 베이지안 샘플링을 사용하고, 이후 미세조정을 위해 확률적 최적화를 수행한다. CTLD는 자동에코더와 RNN을 포함한 다양한 아키텍처에서 최신의 일반화 성능을 달성하며, 수렴성과 하이퍼파rameter에 대한 강건성을 향상시킨다.

ABSTRACT

Minimizing non-convex and high-dimensional objective functions is challenging, especially when training modern deep neural networks. In this paper, a novel approach is proposed which divides the training process into two consecutive phases to obtain better generalization performance: Bayesian sampling and stochastic optimization. The first phase is to explore the energy landscape and to capture the "fat" modes; and the second one is to fine-tune the parameter learned from the first phase. In the Bayesian learning phase, we apply continuous tempering and stochastic approximation into the Langevin dynamics to create an efficient and effective sampler, in which the temperature is adjusted automatically according to the designed "temperature dynamics". These strategies can overcome the challenge of early trapping into bad local minima and have achieved remarkable improvements in various types of neural networks as shown in our theoretical analysis and empirical experiments.

연구 동기 및 목표

• 깊이 있는 신경망 학습에서 열악한 국소 최소값에 조기에 갇히는 문제를 해결하기 위해.
• 효율적이고 적응형 샘플링을 통해 고차원이고 비볼록인 손실 곡면의 탐색을 향상시키기 위해.
• 기존의 확률적 최적화 방법에서 사용하는 냉각 스케줄의 수동 하이퍼파rameter 조정에 대한 의존도를 줄이기 위해.
• 베이지안 샘플링과 연속적인 온도 조절을 결합한 확장 가능하고 강건한 학습 프레임워크를 개발하여 최적화의 더 나은 초기화를 위해.
• 기존의 정의된 냉각 스케줄 대비 연속적인 온도 조절의 효과를 검증하기 위해.

제안 방법

• 학습을 두 단계로 나누며, 첫 번째 단계는 연속적인 온도 조절을 통한 베이지안 샘플링이고, 두 번째 단계는 미세조정을 위한 확률적 최적화이다.
• 온도가 동적으로 연결된 '온도 역학'을 통해 변화하는 확장된 확률적 경사 하강법 제2형 랑주비안 역학을 사용한다.
• 온도는 수동으로 스케줄링되지 않고 제어 변수 α에 기반해 적응적으로 조정되며, 탐색을 촉진하는 미분방정식에 의해 지배된다.
• 노이즈 크기 β̃ = 1/g(α)는 샘플링 기간 동안 부드럽게 변화하여 에너지 곡면의 통제되고 적응적인 탐색을 가능하게 한다.
• 메타다이나믹스 기반 접근 방식을 사용하여 온도를 조절함으로써 샘플러가 모드 간을 점프하고 조기 수렴을 피할 수 있도록 한다.
• 표준 딥러닝 프레임워크와 호환되는 이산화된 통합을 갖춘 연속 시간 확률적 과정으로 구현된다.

실험 결과

연구 질문

• RQ1 랑주비안 역학에서의 연속적인 온도 조절이 딥러닝의 고차원이고 비볼록인 손실 곡면 탐색에 기여하는가?
• RQ2 일정하거나 수동으로 스케줄링된 냉각보다 적응형 온도 조절이 일반화 성능과 수렴 속도 측면에서 더 우수한가?
• RQ3 연속적인 온도 조절을 통한 베이지안 샘플링이 더 나은 일반화와 관련된 '두꺼운' 모드를 효과적으로 식별할 수 있는가?
• RQ4 학습률, 모멘타임, 온도 범위와 같은 하이퍼파ram터의 변동에 대해 제안된 방법이 얼마나 강건한가?
• RQ5 샘플링 이후 최적화를 수행하는 이중 단계 프레임워크가 다양한 아키텍처와 작업에서 일관되게 성능 향상을 이끌 수 있는가?

주요 결과

• 문자 수준의 RNN에서 위키 허터 프라이즈 100MB 데이터셋에서 CTLD가 RMSProp, Adam, SGLD를 모두 능가하는 최고의 테스트 퍼플렉서티를 달성했다.
• 스택드 노이즈 제거 오토에코더에서 CTLD는 느린 초반 샘플링에도 불구하고 효과적인 탐색 덕분에 더 나은 초기화로 인해 우수한 수렴성과 최종 성능을 보였다.
• CTLD에서 노이즈 크기 β̃의 변화는 고정되거나 단조롭게 감소하는 스케줄을 사용하는 Santa 및 AnnealSGD와는 달리 적응적으로 제어되고 동적으로 조정되었다.
• 민감도 분석 결과, 하이퍼파ram터 w와 σ는 성능에 거의 영향을 주지 않아, 테스트 범위 내에서 방법의 강건성을 시사했다.
• S를 통해 온도 범위를 늘리면 일반화가 약간 향상되었지만 뚜렷한 개선은 없었으며, 이는 방법이 안정적이고 S에 대해 과도하게 민감하지 않음을 시사한다.
• 샘플링 이후 최적화를 수행하는 이중 단계 설계가 표준 최적화기로의 종단 간 학습보다 더 나은 일반화를 이끌어내는 것으로 경험적으로 검증되었다.