[논문 리뷰] Stochastic Proximal Langevin Algorithm: Potential Splitting and Nonasymptotic Rates

Adil Salim, Dmitry Kovalev외 1명|arXiv (Cornell University)|2019. 05. 28.

Markov Chains and Monte Carlo Methods참고 문헌 36인용 수 4

한 줄 요약

이 논문은 부드럽고 스 tochastic인 항과 여러 개의 비부드럽고 볼록인 항으로 구성된 복합 잠재함수를 갖는 로그-볼록 분포를 위한 새로운 샘플링 방법인 Stochastic Proximal Langevin Algorithm (SPLA)을 제안한다. SPLA는 매끄러운 부분에 대해 스 tochastic 기울기를 사용하고, 각 비부드러운 항에 대해 스 tochastic 프락시멀 연산자를 사용하여, 볼록성 조건 하에서 KL 발산에 대해 비점근적 하향 수렴 속도를, 강한 볼록성 조건 하에서 워샤어스탄 거리에 대해 선형 수렴 속도를 달성한다.

ABSTRACT

We propose a new algorithm---Stochastic Proximal Langevin Algorithm (SPLA)---for sampling from a log concave distribution. Our method is a generalization of the Langevin algorithm to potentials expressed as the sum of one stochastic smooth term and multiple stochastic nonsmooth terms. In each iteration, our splitting technique only requires access to a stochastic gradient of the smooth term and a stochastic proximal operator for each of the nonsmooth terms. We establish nonasymptotic sublinear and linear convergence rates under convexity and strong convexity of the smooth term, respectively, expressed in terms of the KL divergence and Wasserstein distance. We illustrate the efficiency of our sampling technique through numerical simulations on a Bayesian learning task.

연구 동기 및 목표

• 부드럽고 비부드러운 항을 모두 포함하는 복합 잠재함수를 갖는 모델에서 베이지안 추론을 위한 확장 가능한 샘플링 알고리즘을 개발하기 위해.
• 완전한 프락시멀 연산자가 비가능한 경우에 대체로 스 tochastic 프락시멀 연산자를 사용하여 효율적인 샘플링을 가능하게 하기 위해.
• 제안된 알고리즘에 대해 KL 발산과 워샤어스탄 거리 기준으로 비점근적 수렴 보장을 수립하기 위해.
• 최적화 분야의 연산자 분할 기법을 스 tochastic 샘플링 방법과 융합하여 수치적 안정성과 확장성을 향상시키기 위해.

제안 방법

• SPLA는 잠재함수 $ U(x) = F(x) + \sum_{i=1}^n G_i(x) $ 를 분해하며, 여기서 $ F $ 는 매끄럽고 각 $ G_i $ 는 볼록이지만 가능하면 비부드럽다.
• 알고리즘은 $ F $ 를 근사하는 $ f(x,\xi) $ 의 스 tochastic 기울기와 각 $ G_i $ 를 근사하는 $ g_i(x,\xi) $ 의 스 tochastic 프락시멀 연산자를 사용한다.
• 각 반복 단계에서 SPLA 는 랭지비안 단계를 수행한 후, 독립적으로 샘플된 $ \xi $-의존 함수를 사용하여 $ n $ 개의 순차적 프락시멀 업데이트를 수행한다.
• 이 방법은 스 tochastic Passty 알고리즘을 샘플링 맥락으로 일반화하여 대규모 복합 사후 분포를 효율적으로 처리할 수 있도록 한다.
• 알고리즘은 순차적 업데이트를 통해 구현되며, $ x^{k+1} = \text{prox}_{\gamma g_{e_n}}( \cdots \text{prox}_{\gamma g_{e_1}}( z^k + \sqrt{2\gamma} W^k ) \cdots ) $ 로 표현되며, $ z^k $ 는 기울기 단계이다.
• 이론적 분석은 볼록성 및 강한 볼록성 가정 하에서 KL 발산과 워샤어스탄 거리의 재귀 관계를 사용하여 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 복합 잠재함수에 대해 스 tochastic 프락시멀 분할 기법을 랭지비안 샘플링에 효과적으로 적용할 수 있는가?
• RQ2 KL 발산과 워샤어스탄 거리 기준으로 이러한 방법에 대해 비점근적 수렴 속도를 어떻게 확립할 수 있는가?
• RQ3 스 tochastic 프락시멀 연산자 사용이 스 tochastic 서브기울기 대비 수치적 안정성과 수렴 속도에서 어떻게 다를 수 있는가?
• RQ4 완전한 프락시멀 연산자가 계산적으로 금기인 대규모 그래프 및 고차원 모델에 대해 이 방법이 효율적으로 확장 가능한가?

주요 결과

• 매끄러운 항 $ F $ 가 볼록일 경우, SPLA 는 KL 발산을 $ \varepsilon $ 이하로 줄이기 위해 $ \mathcal{O}(1/\varepsilon^2) $ 반복을 요구하며, 스텝사이즈 $ \gamma = \mathcal{O}(\varepsilon) $ 를 사용하여 비점근적 하향 수렴 속도를 달성한다.
• F 가 $ \alpha $-강한 볼록일 경우, 워샤어스탄 거리는 크기 $ \mathcal{O}(\gamma / \alpha) $ 의 진동 영역 내에서 선형적으로 감소하며, 오차를 $ \varepsilon $ 이하로 줄이기 위해 $ \mathcal{O}(1/\varepsilon \log(1/\varepsilon)) $ 반복이 필요하다.
• KL 발산은 목표값에서 $ \mathcal{O}(\gamma) $ 내로 선형적으로 수렴하며, 수렴 속도는 강한 볼록성 매개수 $ \alpha $ 에 따라 달라진다.
• 실제 그래프(Facebook, YouTube, Amazon, DBLP)에서의 수치 실험 결과, SPLA 는 스 tochastic 서브기울기(SLA)와 완전한 프락시멀 연산자를 사용하는 ProxLA 보다 수렴 속도와 수치적 안정성에서 뛰어나다.
• SPLA 는 ProxLA 대비 약 100배 더 자주 반복를 수행하며, 특히 대규모 그래프에서 초기 반복 단계에서 훨씬 더 빠른 성능을 보인다.
• 스 tochastic 프락시멀 연산자의 사용은 $ \ell^1 $-유형 정규화 항에 대해 스 tochastic 서브기울기 대비 더 안정적이고 효율적인 샘플링을 이끌어낸다.