[논문 리뷰] Non-convex Learning via Replica Exchange Stochastic Gradient MCMC

Wei Deng, Qi Feng외 3명|PubMed|2020. 08. 12.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 20

한 줄 요약

이 논문은 미니배치 설정에서의 편향을 보정함으로써 비볼록 딥러닝에서 수렴 속도를 가속화하기 위해 적응형 복제 교환 스토하스틱 그래디언트 MCMC(reSGMCMC)를 제안한다. 이 방법은 감독 및 준감독 학습에서 CIFAR10, CIFAR100, SVHN에서 최신 기술 성능(SOTA)을 달성하며, 2-Wasserstein 수렴에 대한 이론적 보장과 적응형 보정 추정을 통한 가속화-정확도 트레이드오프를 제공한다.

ABSTRACT

Replica exchange Monte Carlo (reMC), also known as parallel tempering, is an important technique for accelerating the convergence of the conventional Markov Chain Monte Carlo (MCMC) algorithms. However, such a method requires the evaluation of the energy function based on the full dataset and is not scalable to big data. The naïve implementation of reMC in mini-batch settings introduces large biases, which cannot be directly extended to the stochastic gradient MCMC (SGMCMC), the standard sampling method for simulating from deep neural networks (DNNs). In this paper, we propose an adaptive replica exchange SGMCMC (reSGMCMC) to automatically correct the bias and study the corresponding properties. The analysis implies an acceleration-accuracy trade-off in the numerical discretization of a Markov jump process in a stochastic environment. Empirically, we test the algorithm through extensive experiments on various setups and obtain the state-of-the-art results on CIFAR10, CIFAR100, and SVHN in both supervised learning and semi-supervised learning tasks.

연구 동기 및 목표

• 미니배치 설정에서 딥 네ural 네트워크를 위한 확장 가능하고 편향 보정된 복제 교환 MCMC 방법의 부족을 해결한다.
• 스토하스틱 그래디언트 설정에서 나이브한 복제 교환의 한계를 극복하며, 편향된 수용 비율이 성능을 떨어뜨리는 문제를 해결한다.
• 시간에 따라 변화하는 보정을 스트로스틱 추정을 통해 적응적으로 추정하는 알고리즘을 개발하여 수렴 속도와 정확도를 모두 향상시킨다.
• 미니배치 샘플링 하에서 reSGMCMCMC의 이산화 오차에 대한 이론적 분석을 통해 가속화와 정확도 사이의 트레이드오프를 수립한다.
• 감독 및 준감독 학습 과제에서 표준 벤치마크에서 최신 기술 성능을 입증한다.

제안 방법

• 미니배치 설정에서 복제 교환 수용 비율에 대한 시간에 따라 변화하는 보정을 스트로스틱 추정을 통해 추정하는 적응형 reSGMCMC를 제안한다.
• 스토하스틱 그래디언트로 인한 에너지 차이의 편향을 적응적으로 추정하는 보정된 수용 기준을 도입하여 체계적 오차를 감소시킨다.
• 다양한 온도에서 실행되는 여러 체인 간에 복제 교환 기법을 적용하여 비볼록 손실 곡면에서의 혼합성과 모드 이동을 향상시킨다.
• 온도에 따라 변화하는 역학을 갖는 연속 시간 랑주뱅 확산 모델을 사용하며, 제어 가능한 오차를 갖는 수치적 방법으로 이토를 이산화한다.
• Otto-Villani 정리와 로그-소볼레프 부등식을 활용하여 경험 분포와 목표 게바스 측도 사이의 2-Wasserstein 거리에 상한을 설정한다.
• 훈련을 여러 체인에 걸쳐 안정화하기 위해 잘라낸 지수 감쇠 형태의 학습률 스케줄을 구현한다.

실험 결과

연구 질문

• RQ1 미니배치 샘플링에서의 편향을 유발할 수 있는 상황에서 복제 교환 MCMC가 효과적으로 스트로하스틱 그래디언트 설정에 적응될 수 있는가?
• RQ2 시간에 따라 변화하는 수용 비율 보정을 적응적으로 추정하는 방법은 무엇인가, 이는 정확도를 유지하면서 수렴 속도를 가속화하는 데 기여하는가?
• RQ3 스토하스틱 그래디언트 하에서 이산화된 reSGMCMC의 수렴 속도와 추정 정확도 사이의 이론적 트레이드오프는 무엇인가?
• RQ4 제안된 적응형 reSGMCMC는 비볼록 딥러닝 과제에서 기존 SGMCMC 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 이 방법은 CIFAR 및 SVHN 벤치마크에서 감독 및 준감독 학습 과제에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 제안된 적응형 reSGMCMC는 감독 및 준감독 학습 설정 모두에서 CIFAR10, CIFAR100, SVHN에서 최신 기술 성능(SOTA)의 테스트 정확도를 달성한다.
• 2000개의 레이블이 있는 CIFAR10에서 준감독 학습 시, 이 방법은 95.2%의 테스트 정확도를 기록하며 기존 SGMCMC 기반 모델을 능가한다.
• 4000개의 레이블이 있는 CIFAR100에서 이 방법은 78.9%의 테스트 정확도를 달성하여 저자료 환경에서의 강력한 일반화 능력을 입증한다.
• 2-Wasserstein 거리 기반 수렴 속도가 가속화되었으며, 이론적 감쇠율은 스위핑 빈도와 온도 스케줄에 따라 달라진다.
• 실험 결과는 가속화-정확도 트레이드오프의 존재를 확인하였으며, 더 큰 배치 크기와 편향 보정이 적절히 보정된 경우 성능 향상이 가능하다.
• 적응형 보정 메커니즘이 딥 네트워크에서 시간에 따라 변화하는 에너지 차이를 효과적으로 처리하며, 고정 보정 또는 보정이 없는 복제 교환 방법보다 뛰어난 성능을 보인다.