[논문 리뷰] Stochastic Gradient and Langevin Processes

Xiang Cheng, Dong Yin외 2명|arXiv (Cornell University)|2019. 07. 07.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 비정규 분포이자 상태에 의존하는 잡음이 있는 이산 랭지비안 과정에 대해 정량적 수렴 속도를 확립한다. 작은 스텝 크기를 갖는 확률적 경사 하강법(SGD)이 제한적인 SDE를 근사함을 보이며, 오스터-무라야마 이산화와 SGD가 모두 Wasserstein-1 거리 기준으로 $ O(\delta^{1/8}) $ 속도로 SDE의 불변 분포로 수렴함을 증명한다. 이는 잡음이 비정규일 경우에도 잠재력과 잡음 공분산에 대한 미약한 정규성 조건 하에서 성립한다.

ABSTRACT

We prove quantitative convergence rates at which discrete Langevin-like processes converge to the invariant distribution of a related stochastic differential equation. We study the setup where the additive noise can be non-Gaussian and state-dependent and the potential function can be non-convex. We show that the key properties of these processes depend on the potential function and the second moment of the additive noise. We apply our theoretical findings to studying the convergence of Stochastic Gradient Descent (SGD) for non-convex problems and corroborate them with experiments using SGD to train deep neural networks on the CIFAR-10 dataset.

연구 동기 및 목표

• 비볼록 최적화에서 SGD의 유한 시간 수렴을 샘플링 알고리즘으로 이해하고, 특히 일반화 행동을 분석하기 위해.
• SGD에서 흔히 나타나는 비정규 및 상태에 의존하는 잡음이 있는 설정으로 이전의 랭지비안 MCMC 분석을 확장하기 위해.
• 이산 과정과 그 연속시간 SDE 근사 간의 이산화 오차에 대한 엄밀한 경계를 설정하기 위해.
• 잡음이 비정규일 경우에도 제한 SDE의 불변 분포가 SGD의 행동을 지배함을 보여주기 위해.
• CIFAR-10에서 딥 네URAL 네트워크에 대해 SGD를 사용하여 이론적 결과를 실증적으로 검증하기 위해.

제안 방법

• 상태에 의존하고 비정규적인 잡음을 갖는 일반적인 이산 랭지비안 유사 과정을 제안: $ w_{(k+1)\delta} = w_{k\delta} - \delta \nabla U(w_{k\delta}) + \sqrt{\delta} \xi(w_{k\delta}, \eta_k) $.
• 제한 SDE를 $ dx_t = -\nabla U(x_t) dt + M(x_t) dB_t $ 로 정의하며, 여기서 $ M(x) $ 는 잡음 공분산 행렬의 제곱근이다.
• 불변 분포 $ p^* $ 로의 수렴을 증명하기 위해 새로운 리아푸노프 함수와 커플링 기법을 사용한다.
• Wasserstein-1 거리 기준으로 이산 과정 (1), 오스터-무라야마 근사 (2), 연속 SDE (3) 간의 이산화 오차 경계를 설정한다.
• 정량적 중심극한정리(정리 5)를 적용하여 동일한 공분산을 갖는 정규 잡음으로 비정규 잡음을 근사하는 것을 정당화한다.
• CIFAR-10에서 다양한 잡음 분포를 갖는 ResNet 유사 CNN을 훈련시켜 이론을 실증적으로 검증하며, 테스트 오차가 잡음 공분산과 강하게 상관됨을 보였다.

실험 결과

연구 질문

• RQ1 스텝 크기 $ \delta $ 에 따라 이산 랭지비안 과정과 그 연속 SDE 근사 간의 이산화 오차는 어떻게 스케일링되며, 특히 비정규 및 상태에 의존하는 잡음 하에서 어떻게 되는가?
• RQ2 비정규이자 상태에 의존하는 잡음을 갖는 SGD는 엄밀히 제한 SDE와 연결될 수 있으며, 그 불변 분포로의 수렴 속도는 무엇인가?
• RQ3 제한 SDE의 불변 분포는 잡음 공분산에만 의존하는가, 잡음이 비정규일 경우에도 마찬가지인가?
• RQ4 딥 러닝 모델에 대해 SGD의 이론적 수렴 속도 $ O(\delta^{1/8}) $ 는 실질적으로 관찰될 수 있는가?
• RQ5 잡음 공분산 행렬은 SGD로 훈련된 모델의 일반화 성능(테스트 오차)을 예측하는 데 얼마나 유용한가?

주요 결과

• 오스터-무라야마 근사 (2) 와 연속 SDE (3) 간의 이산화 오차는 Wasserstein-1 거리 기준으로 $ O(\sqrt{\delta}) $ 이다.
• 오스터-무라야마 과정 (2) 가 불변 분포 $ p^* $ 로 수렴하는 속도는 $ n \geq \tilde{O}(1/\delta) $ 일 때 $ O(\sqrt{\delta}) $ 이다.
• 실제 SGD 유사 과정 (1) 과 SDE (3) 간의 이산화 오차는 $ O(\delta^{1/8}) $ 이며, $ p^* $ 로의 수렴 속도 역시 $ O(\delta^{1/8}) $ 이다.
• 잡음 공분산이 잘 조건화되어 있다면, 비정규 잡음에 대해서도 수렴 속도 $ O(\delta^{1/8}) $ 는 강건하다.
• CIFAR-10에서의 실증 결과는 테스트 오차가 잡음 공분산 행렬에 의해 강하게 예측됨을 보이며, 잡음 분포가 변화하더라도 마찬가지다.
• 이론적 프레임워크는 SGD가 잠재력과 잡음 공분산에 의해 결정되는 분포로 수렴하는 샘플링 알고리즘으로 정당화하며, 뿐만 아니라 기울기 외의 요소에 의존함을 보여준다.