[논문 리뷰] Sampling from a log-concave distribution with Projected Langevin Monte Carlo

Sébastien Bubeck, Ronen Eldan외 1명|arXiv (Cornell University)|2015. 07. 09.

Markov Chains and Monte Carlo Methods참고 문헌 22인용 수 69

한 줄 요약

이 논문은 로그볼록 분포에서 샘플링하기 위해 확률적 경량 최적화 업데이트와 유클리드 투영을 조합한 Markov 체인 방법인 투영된 랭지비안 몬테카를로(PLMC)를 소개한다. 균일한 목표 분포에 대해 $ widetilde{O}(n^7)$ 단계의 혼합 시간, 일반적인 로그볼록 목표 분포에 대해 $ widetilde{O}(n^{12})$ 단계의 혼합 시간을 보장하며 다항식 시간 수렴성을 확립한다. 이는 히트-앤드-런과 같은 제로번째 순서 방법의 대안으로서의 첫 번째 순서 오ракル 기반 접근법을 제공한다.

ABSTRACT

We extend the Langevin Monte Carlo (LMC) algorithm to compactly supported measures via a projection step, akin to projected Stochastic Gradient Descent (SGD). We show that (projected) LMC allows to sample in polynomial time from a log-concave distribution with smooth potential. This gives a new Markov chain to sample from a log-concave distribution. Our main result shows in particular that when the target distribution is uniform, LMC mixes in $\ ilde{O}(n^7)$ steps (where $n$ is the dimension). We also provide preliminary experimental evidence that LMC performs at least as well as hit-and-run, for which a better mixing time of $\ ilde{O}(n^4)$ was proved by Lov{\\'a}sz and Vempala.

연구 동기 및 목표

• 콤���트 볼록 집합 위에서 로그볼록 분포에서 효율적으로 샘플링할 수 있는 마르코프 체인 몬테카를로 방법을 개발하는 것.
• 투영을 통한 제약 조건이 있는 도메인으로 랭지비안 몬테카를로 알고리즘을 확장하여, 나쁜 초기화에서도 안정성과 수렴성을 보장하는 것.
• 잠재 함수의 미분 가능성과 리프시츠 조건 하에서 투영된 LMC의 혼합 시간에 대한 이론적 보장을 제공하는 것.
• 실제로 제로번째 순서 방법인 히트-앤드-런과 경쟁 가능한 성능을 보이며, 기울기 정보에 의존함에도 불구하고 성능이 우수함을 보여주는 것.

제안 방법

• 알고리즘은 투영된 확률적 경량 최적화 업데이트를 사용한다: $\overline{X}_{k+1} = \mathcal{P}_K\left(\overline{X}_k - \frac{\eta}{2}\nabla f(\overline{X}_k) + \sqrt{\eta}\xi_k\right)$, 여기서 $\xi_k$는 i.i.d. 표준 정규 노이즈이다.
• 투영 $\mathcal{P}_K$ 는 모든 반복값이 볼록 몰체 $K$ 내부에 머무르도록 보장하여, 컴actsupport된 분포에서의 샘플링을 가능하게 한다.
• 분석은 쌍대 기법과 진짜 체인과 근사 체인 간의 워샤르슈타인 거리에 대한 경계를 기반으로 하며, 총 변화 오차를 제어한다.
• 핵심 기술 도구로는 투영에 의해 유도되는 특이점을 포함한 확산 과정의 새로운 분석이 포함되며, 이는 이전의 비제약 조건 사례 결과를 확장한다.
• 잠재 함수 $f$ 에 대해 $L$-리프시츠 및 $\beta$-스무스니스 조건을 가정할 때 수렴이 보장된다.
• 수렴과 혼합을 균형 잡기 위해 $\eta = \widetilde{\Theta}(R^2/N)$ 의 스텝 사이즈를 사용하며, 여기서 $R$ 은 둘러싸는 공의 반지름이다.

실험 결과

연구 질문

• RQ1 투영을 통해 제약 조건이 있는 로그볼록 분포에 대해 랭지비안 몬테카를로를 확장할 수 있으며, 다항식 시간 수렴성을 유지할 수 있는가?
• RQ2 균일 및 비균일 로그볼록 분포에 대해 투영된 LMC 알고리즘의 혼합 시간은 얼마인가?
• RQ3 PLMC의 성능은 혼합 시간과 실용적 효율성 측면에서 히트-앤드-런과 같은 제로번째 순서 방법과 비교해 볼 때 어떻게 되는가?
• RQ4 고차원 샘플링에서 첫 번째 순서 오라클 기반 샘플링이 제로번째 순서 방법과 비교해 유사하거나 더 좋은 성능을 낼 수 있는가?

주요 결과

• 목표 분포가 볼록 몰체 위에서 균일할 경우, 투영된 LMC 알고리즘은 $ widetilde{O}(n^7)$ 단계의 혼합 시간을 달성한다.
• 일반적인 로그볼록 분포의 경우, 혼합 시간은 $\widetilde{O}\left(\frac{R^6 \max(n, RL, R\beta)^{12}}{\varepsilon^{12}}\right)$ 로 경계된다. 여기서 $R$ 은 둘러싸는 공의 반지름이다.
• 이 방법은 이전 방법이 필요로 하는 함수 값 쿼리(제로번째 순서 액세스)가 아닌, 오직 첫 번째 순서 오라클 액세스(기울기 정보)만을 사용한다.
• 실험 결과 PLMC는 상자 및 상자-와-공 볼록 몰체에서 히트-앤드-런과 유사한 부피를 계산하면서도 약간 더 빠른 실용적 성능을 보였다.
• 이론적 분석을 통해 초기화가 볼록 몰체의 모서리에 있더라도 PLMC가 다항식 시간 수렴성을 유지함을 입증하였다. 이는 투영 단계가 지속적인 이동을 보장하기 때문이다.
• 이 방법은 초기화에 대해 강건하며, 경계 근처에서 시작할 경우 히트-앤드-런에서 관찰되는 긴 대기 시간을 피한다.