[논문 리뷰] Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling

Difan Zou, Pan Xu외 1명|arXiv (Cornell University)|2020. 10. 19.

Markov Chains and Monte Carlo Methods참고 문헌 56인용 수 8

한 줄 요약

이 논문은 비로그볼록 샘플링에서 확률적 경사 하강 랭글레인 역학(SGLD)에 대한 새로운 도전률 기반 수렴 분석을 제안한다. 시간 가역성 있는 메트로폴리스화된 SGLD를 보조 마코프 체인으로 사용하여, 총변화 거리에서 $\tilde{O}(d^4 \rho^{-2})$개의 스트로스틱 그래디언트 평가로 $\rho$-정확도를 달성하며, 일반 조건 하에서 이전 연구보다 더 빠른 수렴 속도를 확립한다. 또한 헤시안 리프시츠 조건 하에서는 $\tilde{O}(d^{15/4} \rho^{-3/2})$로 개선된다.

ABSTRACT

We provide a new convergence analysis of stochastic gradient Langevin dynamics (SGLD) for sampling from a class of distributions that can be non-log-concave. At the core of our approach is a novel conductance analysis of SGLD using an auxiliary time-reversible Markov Chain. Under certain conditions on the target distribution, we prove that $ ilde O(d^4ε^{-2})$ stochastic gradient evaluations suffice to guarantee $ε$-sampling error in terms of the total variation distance, where $d$ is the problem dimension. This improves existing results on the convergence rate of SGLD (Raginsky et al., 2017; Xu et al., 2018). We further show that provided an additional Hessian Lipschitz condition on the log-density function, SGLD is guaranteed to achieve $ε$-sampling error within $ ilde O(d^{15/4}ε^{-3/2})$ stochastic gradient evaluations. Our proof technique provides a new way to study the convergence of Langevin-based algorithms and sheds some light on the design of fast stochastic gradient-based sampling algorithms.

연구 동기 및 목표

• 기존 방법이 금방 큰 미니배치 크기를 요구하는 문제로 인해 SGLD가 비로그볼록 샘플링에서 느리게 수렴하는 문제를 해결하기 위해.
• 큰 미니배치 가정에 의존하지 않는 SGLD에 대한 더 날카운 수렴 분석을 개발하기 위해.
• 일반 조건과 헤시안 리프시츠 조건 하에서 총변화 거리에서 $\rho$-정확도를 달성하기 위한 그래디언트 복잡도 한계를 향상시키기 위해.
• SGLD의 수렴 행동을 더 잘 기술하기 위해 시간 가역성 보조 체인을 사용한 새로운 이론적 프레임워크를 제안하기 위해.

제안 방법

• SGLD와 목표 분포 사이의 총변화 거리 상한을 위해 보조 시간 가역 마코프 체인으로서의 메트로폴리스화된 SGLD를 도입한다.
• 도전률 분석을 통해 혼합 시간과 수렴 속도를 연결하며, 보조 체인의 성질을 활용한다.
• 총변화 거리와 핀스커 부등식을 사용하여 SGLD와 보조 체인 사이의 커플링 추론을 수립한다.
• 정규분포와 카이제곱분포의 농도 불등식 및 尾부 경계를 적용하여 고확률 집합 내 질량을 제어한다.
• 전이 커널의 평균 차이를 사용하여 SGLD 전이 간의 총변화 거리 상한을 유도한다.
• 헤시안 리프시츠 조건을 활용하여 더 강한 매끄러움 가정 하에서 그래디언트 복잡도 한계를 강화한다.

실험 결과

연구 질문

• RQ1 SGLD는 큰 미니배치 크기를 요구하지 않고도 비로그볼록 샘플링에서 더 빠른 수렴을 달성할 수 있는가?
• RQ2 표준 LMC 기반 접근법과 비교해 볼 때, 시간 가역성 보조 체인이 SGLD의 수렴 분석을 어떻게 향상시킬 수 있는가?
• RQ3 일반적인 매끄러움 및 산산각 조건 하에서 SGLD가 총변화 거리에서 $\rho$-정확도를 달성하기 위한 최적의 그래디언트 복잡도는 무엇인가?
• RQ4 헤시안 리프시츠 조건은 SGLD의 수렴 속도와 그래디언트 복잡도에 어떤 영향을 미치는가?
• RQ5 도전률 기반 분석은 이전의 에르고딕성 또는 최적 제어 기반 방법보다 더 날카운 상한을 제공할 수 있는가?

주요 결과

• 일반적인 목표 분포 조건 하에서 SGLD는 총변화 거리에서 $\tilde{O}(d^4 \rho^{-2})$개의 스트로스틱 그래디언트 평가로 $\rho$-정확도를 달성한다.
• 로그밀도에 추가로 헤시안 리프시츠 조건이 성립할 경우, 그래디언트 복잡도는 $\tilde{O}(d^{15/4} \rho^{-3/2})$로 향상된다.
• 메트로폴리스화된 SGLD 보조 체인을 통한 제안된 도전률 분석은 이전 방법보다 더 날카운 수렴 보장을 이끈다.
• 이전 연구들(예: Raginsky 등, 2017; Xu 등, 2018)에서의 문제점이었던 큰 미니배치 크기 요구 조건을 피할 수 있다.
• 이론적 프레임워크는 비로그볼록 설정에서 랭글레인 기반 샘플링 알고리즘을 분석하는 데 새로운 길을 제시한다.
• 분석을 통해 SGLD의 전이 커널이 보조 체인의 커널에 가까이 유지됨을 입증하여 강력한 수렴 상한을 확보한다.