[논문 리뷰] On the Theory of Variance Reduction for Stochastic Gradient Monte Carlo

Niladri S. Chatterji, Nicolas Flammarion외 3명|arXiv (Cornell University)|2018. 02. 15.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 29

한 줄 요약

이 논문은 부드럽고 강력히 볼록하며 헤시안 리프시츠 조건을 만족하는 로그우도에 대해, 분산 감소 기반 확률적 경량 몬테카를로 방법—SAGA-라운젤린, SVRG-라운젤린, 제어변수를 사용한 비강건 라운젤린 확산—에 대한 와서스타인 거리 기반 정밀한 수렴 보장을 수립한다. 유한합 최적화와 샘플링 분석을 융합한 새로운 리아푸노프 기반 증명 기법을 제안하여, 분산 감소 방법이 정확도 $\epsilon$ 에 대해 $\tilde{\mathcal{O}}(N + \sqrt{d}/\epsilon)$ 단계 내에 수렴함을 보이며, 저정확도 영역에서 표준 SGLD의 $\tilde{\mathcal{O}}(d/\epsilon^2)$ 보다 뛰어난 성능을 보임을 밝혀낸다.

ABSTRACT

We provide convergence guarantees in Wasserstein distance for a variety of variance-reduction methods: SAGA Langevin diffusion, SVRG Langevin diffusion and control-variate underdamped Langevin diffusion. We analyze these methods under a uniform set of assumptions on the log-posterior distribution, assuming it to be smooth, strongly convex and Hessian Lipschitz. This is achieved by a new proof technique combining ideas from finite-sum optimization and the analysis of sampling methods. Our sharp theoretical bounds allow us to identify regimes of interest where each method performs better than the others. Our theory is verified with experiments on real-world and synthetic datasets.

연구 동기 및 목표

• 일관되고 현실적인 가정 하에 분산 감소 기법을 통합하고 철저히 분석하기 위해.
• 이전 연구에서 갈등하는 실험 결과를 해결하기 위해 와서스타인 거리 기반 정밀한 비점근 수렴 속도를 제공하기 위해.
• 분산 감소 방법이 표준 SGLD를 능가하는 성능 영역를 규명하기 위해.
• 더 나은 수렴 경계를 확보하기 위해 유한합 최적화와 샘플링 이론을 융합한 새로운 증명 프레임워크를 개발하기 위해.

제안 방법

• 와서스타인 거리에서의 수렴 진전을 추적하기 위해 새로운 커플링 주장 기반의 리아푸노프 함수를 제안한다.
• 이 기법을 사용해 SAGA-라운젤린, SVRG-라운젤린, 제어변수를 사용한 비강건 라운젤린 확산(CV-ULD)을 분석한다.
• 연속 및 이산 비강건 라운젤린 동역학의 적분 표현을 활용해 안정성 및 수렴 경계를 유도한다.
• 이전 연구에서 요구하던 전역 기울기 노름 상한 조건을 완화하기 위해, 로그우도의 부드러움, 강력한 볼록성, 헤시안 리프시츠 연속성 조건을 가정한다.
• 초기 및 중간 분포와 목표 분포 간의 거리를 제어하기 위해 얀의 부등식과 모멘트 경계를 활용한다.
• 커플링 주장과 확산 과정의 스펙트럼 성질을 융합하여 비점근 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 분산 감소 기반 SG-MCMC 방법이 와서스타인 거리 기준으로 표준 SGLD보다 더 빨리 수렴하는 조건은 무엇인가?
• RQ2 SAGA-LD, SVRG-LD, CV-ULD를 동일한 가정 하에 비교할 수 있는 통합 이론적 프레임워크를 개발할 수 있는가?
• RQ3 초기 분포의 품질과 기울기 분산은 SG-MCMC의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 다양한 목표 정확도 $\epsilon$ 에서 서로 다른 분산 감소 전략은 어떻게 성능을 발휘하는가?
• RQ5 유한합 최적화에서의 증명 기법을 샘플링 문제에 적응시켜 더 날카운 경계를 도출할 수 있는가?

주요 결과

• 논문은 분산 감소 방법의 수렴 단계를 $\tilde{\mathcal{O}}(N + \sqrt{d}/\epsilon)$ 로 수립하였으며, 저정확도 영역에서 표준 SGLD의 $\tilde{\mathcal{O}}(d/\epsilon^2)$ 보다 뚜렷이 향상됨을 보였다.
• SAGA-라운젤린과 SVRG-라운젤린은 데이터 포인트 수 $N$ 에 대해 유리하게 스케일링되는 수렴 속도를 달성하며, 이는 유한합 최적화의 뿌리를 반영한다.
• 제어변수를 사용한 비강건 라운젤린(CV-ULD)은 2차 동역학 덕분에 기울기 분산이 감소할 경우 더 빠른 혼합 속도를 확보한다.
• 이론적 경계는 목표 정확도 $\epsilon$ 이 작을 경우 분산 감소 방법이 SGLD를 능가함을 확인하며, 저해상도 우도 추정에서는 SGLD가 더 유리함을 보여준다.
• 초기 분포와 목표 분포 간의 거리는 $W_2^2(p^{(0)}, p^*) \leq 2d/m$ 으로 유계가 되며, 이는 전역 수렴을 확립하는 데 핵심적이다.
• 리아푸노프 함수 접근법은 비강건 SDE의 위치 및 속도 동역학을 동시에 추적함으로써 이전 방법보다 더 날카운 경계를 도출한다.