[논문 리뷰] Primal Dual Interpretation of the Proximal Stochastic Gradient Langevin Algorithm

Adil Salim, Peter Richtárik|arXiv (Cornell University)|2020. 06. 16.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 6

한 줄 요약

이 논문은 복합 잠재함수(복합 잠재함수는 매끄럽고 볼록인 함수와 비매끄럽고 볼록인 함수의 합으로 구성됨)를 가진 로그볼록 분포에서 표본을 추출하기 위한 Proximal Stochastic Gradient Langevin Algorithm (PSGLA)에 대한 원본-이중 해석을 제공한다. 강한 볼록성 조건 하에서 워셔스타인 공간 내 강한 이중성에 기반하여, 2-워셔스타인 거리 기준으로 ${\mathcal{O}}(1/\varepsilon^{2})$의 복잡도 상한을 확립한다. 이는 잠재함수 $F$가 볼록이지만 매끄럽지 않은 경우 Projected Langevin Algorithm의 ${\mathcal{O}}(1/\varepsilon^{12})$ 상한에 비해 크게 향상된 결과이다.

ABSTRACT

We consider the task of sampling with respect to a log concave probability distribution. The potential of the target distribution is assumed to be composite, extit{i.e.}, written as the sum of a smooth convex term, and a nonsmooth convex term possibly taking infinite values. The target distribution can be seen as a minimizer of the Kullback-Leibler divergence defined on the Wasserstein space ( extit{i.e.}, the space of probability measures). In the first part of this paper, we establish a strong duality result for this minimization problem. In the second part of this paper, we use the duality gap arising from the first part to study the complexity of the Proximal Stochastic Gradient Langevin Algorithm (PSGLA), which can be seen as a generalization of the Projected Langevin Algorithm. Our approach relies on viewing PSGLA as a primal dual algorithm and covers many cases where the target distribution is not fully supported. In particular, we show that if the potential is strongly convex, the complexity of PSGLA is $O(1/\varepsilon^2)$ in terms of the 2-Wasserstein distance. In contrast, the complexity of the Projected Langevin Algorithm is $O(1/\varepsilon^{12})$ in terms of total variation when the potential is convex.

연구 동기 및 목표

• 복합 잠재함수를 가진 로그볼록 분포에서 표본을 추출하는 데 있어 Proximal Stochastic Gradient Langevin Algorithm (PSGLA)를 분석하기 위한 원본-이중 프레임워크를 제공하는 것.
• 워셔스타인 공간 내 Kullback-Leibler 발산 최소화 문제에 대해 강한 이중성을 확립하여 PSGLA의 복잡도 분석을 가능하게 하는 것.
• 특히 목표 분포가 완전히 지지되지 않을 경우에도 2-워셔스타인 거리 기준으로 PSGLA의 비점근 수렴 속도를 유도하는 것.
• 잠재함수 $G$가 무한대 값을 가질 수 있는 경우에도 복잡도 상한을 확장하여 제약 조건이 있는 표본 추출 문제를 포함하는 것.

제안 방법

• 복합 잠재함수 $V = F + G$를 갖는 경우, 워셔스타인 공간 내 KL 발산 최소화 문제로 표본 추출 문제를 공식화하며, $F$는 매끄럽고 볼록이며 $G$는 비매끄럽고 볼록하다.
• KL 최소화 문제에 대해 강한 이중성을 확립하고, 이중 변수와 $G$의 쌍대 함수를 포함하는 라그랑지안 함수를 도입한다.
• PSGLA를 원본-이중 알고리즘으로 분석하며, 원본 반복 $x^{k+1}$은 프록시멀 스텝을 통해 업데이트되고, 이중 반복 $y^{k+1}$은 이중 문제로부터 유도된다.
• 현재 분포와 목표 분포 사이의 2-워셔스타인 거리에 관한 재귀 부등식을 유도하며, 이는 이중성 갭 항과 노이즈 분산을 포함한다.
• 강한 볼록성 조건을 가진 $F$와 $G^*$의 매끄러움 조건을 활용하여, 이중성 갭을 통해 워셔스타인 거리의 감쇠를 제어한다.
• 스토하스틱 그래디언트와 노이즈에 대한 농도 및 모멘트 상한을 적용하여 재귀식의 잔여항을 제어한다.

실험 결과

연구 질문

• RQ1 복합 로그볼록 분포에서 표본을 추출하는 맥락에서 PSGLA는 원본-이중 알고리즘으로 해석될 수 있는가?
• RQ2 잠재함수 $G$가 비매끄럽거나 무한대 값을 가질 경우, 2-워셔스타인 거리 기준으로 PSGLA의 비점근 수렴 속도는 어떻게 되는가?
• RQ3 총변화도 및 워셔스타인 거리 기준으로 PSGLA의 복잡도는 Projected Langevin Algorithm과 비교해 어떻게 되는가?
• RQ4 워셔스타인 공간 내 강한 이중성을 활용하여, 지지 집합이 제약 조건이 있는 경우의 표본 추출 알고리즘에 대해 더 날카로운 수렴 상한을 유도할 수 있는가?

주요 결과

• 잠재함수 $F$가 강한 볼록성 조건을 만족하고 $G$가 $1/\lambda_{G^*}$-매끄럽다면, PSGLA는 2-워셔스타인 거리 기준으로 ${\mathcal{O}}(1/\varepsilon^{2})$의 복잡도 상한을 확보한다.
• 이 복잡도는 $F$가 볼록이지만 매끄럽지 않은 경우 Projected Langevin Algorithm의 총변화도 기준 ${\mathcal{O}}(1/\varepsilon^{12})$ 상한보다 크게 향상된다.
• 강한 이중성 결과에서 유도된 이중성 갭을 활용하여 워셔스타인 거리 감쇠를 제어하는 재귀 부등식을 도출한다.
• 일부 $x$에 대해 $G(x) = +\infty$일 경우에도 분석이 유지되며, 이는 볼록체 위에 지지된 목표 분포를 포함하는 경우에 해당한다.
• 추가 정규화 항이 있는 Stochastic Proximal Langevin Algorithm (SPLA)로의 확장도 가능하며, 적절한 가정 하에 유사한 수렴 속도를 유지한다.