[논문 리뷰] On stochastic gradient Langevin dynamics with dependent data streams in the logconcave case

Mathias Barkhagen, Nancy H. Chau외 4명|arXiv (Cornell University)|2018. 12. 06.

Markov Chains and Monte Carlo Methods참고 문헌 31인용 수 5

한 줄 요약

이 논문은 정확한 기울기가 제공되지 않지만 독립적 데이터 스트림에서 비편향 추정치를 제공할 수 있는 경우, 로그-볼록 사후 분포에서 샘플링을 위한 확률적 기울기 랑주반 역동성(SGLD)을 분석한다. 강한 볼록성과 리프시츠 기울기 가정 하에서, 알고리즘의 법칙과 목표 분포 사이의 워샤르-2 거리에 대해 명시적인 상한을 도출한다. 이 상한은 잠재력의 곡률과 차원에 따라 달라진다.

ABSTRACT

We study the problem of sampling from a probability distribution $π$ on $ set^d$ which has a density \wrt\ the Lebesgue measure known up to a normalization factor $x \mapsto me^{-U(x)} / \int_{ set^d} me^{-U(y)} md y$. We analyze a sampling method based on the Euler discretization of the Langevin stochastic differential equations under the assumptions that the potential $U$ is continuously differentiable, $ abla U$ is Lipschitz, and $U$ is strongly concave. We focus on the case where the gradient of the log-density cannot be directly computed but unbiased estimates of the gradient from possibly dependent observations are available. This setting can be seen as a combination of a stochastic approximation (here stochastic gradient) type algorithms with discretized Langevin dynamics. We obtain an upper bound of the Wasserstein-2 distance between the law of the iterates of this algorithm and the target distribution $π$ with constants depending explicitly on the Lipschitz and strong convexity constants of the potential and the dimension of the space. Finally, under weaker assumptions on $U$ and its gradient but in the presence of independent observations, we obtain analogous results in Wasserstein-2 distance.

연구 동기 및 목표

• 정확한 잠재력 U의 기울기가 알려져 있지 않은 경우 로그-볼록 목표 분포 π에서 샘플링을 연구하기 위해.
• 기울기 추정치가 i.i.d. 관측치가 아닌 종속된 데이터 스트림에서 유래할 때, 확률적 기울기 랑주반 역동성(SGLD)의 수렴 성질을 분석하기 위해.
• SGLD 반복의 법칙과 목표 분포 π 사이의 워샤르-2 거리에 대해 명시적인 상한을 도출하기 위해.
• 데이터 스트림이 독립일 경우 U와 그 기울기에 대한 더 약한 가정 하에서 이러한 결과를 확장하기 위해.
• 수렴 속도가 잠재력 U의 강한 볼록성 및 리프시츠 상수, 차원 d에 어떻게 영향을 받는지 정량화하기 위해.

제안 방법

• 과다감쇠 랑주반 SDE dθt = -∇U(θt)dt + √2 dBt의 오일러-마르야모 이산화로 비조정 랑주반 알고리즘(ULA)을 수립한다.
• ∇U(θn)를 종속적인 데이터 스트림(Xn)에서 유래한 비편향 추정치 H(θn, Xn+1)로 대체하는 확률적 기울기 변형을 도입한다.
• 데이터 스트림 (Xn)이 엄격한 정상성을 만족하고, 모든 θ에 대해 E[H(θ, Xn)] = ∇U(θ)임을 가정하여 비편향성을 확보한다.
• 혼합 계수 γr(τ)와 모멘트 조건 Mr을 활용하여 종속된 과정의 모멘트 경계를 도출하고, 편향된 기울기 추정치에서 발생하는 오차를 제어한다.
• 연속 시간 임bedding에서 민코프스키 및 코시-슈바르츠 부등식을 적용하여 과정 증분의 모멘트 경계를 유도한다.
• SGLD 법칙과 목표 π 사이의 명시적인 워샤르-2 거리 상한을 유도하며, 이 상한은 강한 볼록성 매개변수, ∇U의 리프시츠 상수, 차원 d에 따라 달라진다.

실험 결과

연구 질문

• RQ1 기울기 추정치가 i.i.d. 표본 대신 종속된 데이터 스트림에서 유래할 경우 SGLD의 수렴 성능은 어떻게 악화되는가?
• RQ2 로거-볼록 가정 하에서 SGLD 반복과 목표 분포 π 사이의 워샤르-2 거리에 대해 명시적인 상한을 어떻게 도출할 수 있는가?
• RQ3 잠재력 U의 강한 볼록성과 리프시츠 연속성은 종속된 기울기를 갖는 SGLD의 수렴 속도에 어떻게 영향을 미치는가?
• RQ4 데이터 스트림이 독립일 경우 U와 그 기울기에 대한 더 약한 가정 하에서 수렴 분석을 어떻게 확장할 수 있는가?
• RQ5 혼합 계수와 모멘트 조건은 종속된 기울기 추정치에서 발생하는 오차를 어떻게 제어하는가?

주요 결과

• U가 연속 미분 가능하고, ∇U가 리프시츠이며, U가 강하게 볼록하다는 가정 하에서, SGLD 반복과 목표 분포 π 사이의 워샤르-2 거리에 대해 명시적인 상한을 도출한다.
• 이 상한은 U의 강한 볼록성 상수, ∇U의 리프시츠 상수, 차원 d에 대해 명시적으로 의존하며, 주요 결과에서는 데이터 스트림의 혼합 속도에 대한 의존성이 없다.
• 독립적 관측치의 경우, U와 ∇U에 대한 더 약한 가정 하에서 유사한 수렴 결과를 워샤르-2 거리에서 확립한다.
• 혼합 계수 γr(τ)와 모멘트 조건 Mr을 활용한 종속된 과정의 모멘트 경계 분석은 확률적 기울기에서 발생하는 편향을 제어한다.
• 유도된 상한은 비점근적이며 유한한 시간 T 동안 유효하며, 단계 크기 λ와 과정의 경로 기반 행동에 대해 명시적인 의존성을 가진다.
• 민코프스키 부등식을 통해 일변도 모멘트 경계를 구성적으로 적용함으로써, 일반적인 d차원 문제로 결과를 확장할 수 있다.