[논문 리뷰] Further and stronger analogy between sampling and optimization: Langevin Monte Carlo and gradient descent

Arnak S. Dalalyan|arXiv (Cornell University)|2017. 04. 16.

Gaussian Processes and Bayesian Inference인용 수 53

한 줄 요약

이 논문은 샘플링을 위한 Langevin Monte Carlo(LMC)와 최적화를 위한 gradient descent 사이의 연결 고리를 강화하고, Wasserstein 거리 보장을 개선하며 노이즈가 있는 gradient 평가로의 확장을 제공합니다.

ABSTRACT

In this paper, we revisit the recently established theoretical guarantees for the convergence of the Langevin Monte Carlo algorithm of sampling from a smooth and (strongly) log-concave density. We improve the existing results when the convergence is measured in the Wasserstein distance and provide further insights on the very tight relations between, on the one hand, the Langevin Monte Carlo for sampling and, on the other hand, the gradient descent for optimization. Finally, we also establish guarantees for the convergence of a version of the Langevin Monte Carlo algorithm that is based on noisy evaluations of the gradient.

연구 동기 및 목표

• LMC와 gradient descent를 사용해 샘플링과 최적화 사이의 유사성을 동기 부여하고 정량화한다.
• 강하게 볼록성 및 Lipschitz-그래디언트 조건하에서 LMC에 대한 더 선명한 Wasserstein 기반 수렴 보장을 제공한다.
• 기울기가 노이즈를 가지는 설정에서 보장을 노이즈가 있는 gradient 상황으로 확장한다.
• 최적화 수렴과의 연관성 및 비강하게 볼록하거나 비연속(non-smooth)한 경우에 대한 잠재적 확장을 논의한다.

제안 방법

• θ에 가 관측된 불변 밀도 e^{-f(b8)}에 의해 주어지는 Langevin 확산의 Euler 이산화로서 LMC를 분석한다.
• 스텝 크기 h 하에서 W2(nuK, pi) 경계 값을 도출한다. 구간은 h <= 2/(m+M) 및 h >= 2/(m+M)이다.
• 새로운 경 bound를 기존 결과(Durmus & Moulines 2016)와 비교하고 더 예리한 상수를 보인다.
• 노이즈가 있는 gradient 평가로 분석을 확장한다: 관측값 Y^{(k,h)} = ∇f(θ) + c3 e.
• 추가 노이즈 항이 있는 노이즈- LMC에 대한 W2(nuK, pi) 경계를 제시한다.
• 온도 조절 f_c4를 통해 샘플링 보장을 최적화 수렴과 연결하고 c4 일 때 으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 강한 볼록성 및 Lipschitz 그래디언트 조건하에서 Langevin Monte Carlo의 정교해진 Wasserstein-2 수렴 경계가 이전 결과와 어떻게 비교되는가?
• RQ2 노이즈가 있는 gradient 평가를 사용할 때 Langevin Monte Carlo의 수렴에 미치는 영향은 무엇이며 경계는 노이즈 수준과 차원에 따라 어떻게 스케일하는가?
• RQ3 목적 함수의 스케일링된 버전을 고려할 때 LMC가 gradient descent와 어떻게 수렴하는가?

주요 결과

• h <= 2/M일 때, W2(nuK, pi)는 기하급수적으로 감소하는 항과 sqrt(hp) 항으로 한정된다.
• h <= 2/(m+M)일 때, W2(nuK, pi) <= (1 - m h)^K W2(nu0, pi) + 1.82 (M/m) (h p)^{1/2}.
• h >= 2/(m+M)일 때, W2(nuK, pi) <= (M h - 1)^K W2(nu0, pi) + 1.82 (h p)^{1/2} * (M h)/(2 - M h)^{1/2}.
• 노이즈-gradient LMC는 경계에 추가 노이즈 항을 유도하며, 그래디언트 추정에 대한 강건성을 보이고, 노이즈의 분산 σ^2 및 M, m, p, h가 포함된 경계가 있다.
• τ -> 0 한계에서 최적화 수렴 속도를 회복하여, LMC 결과를 샘플링으로의 gradient descent의 자연스러운 확장으로 확립한다.