[논문 리뷰] Sampling from a log-concave distribution with compact support with proximal Langevin Monte Carlo

Nicolas Brosse, Alain Durmus외 2명|arXiv (Cornell University)|2017. 05. 24.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 20

한 줄 요약

이 논문은 볼록체 K 내에 제한된 로그볼록 분포에서 샘플링하기 위한 모어-요시다 조정되지 않은 랭게빈 알고리즘(MYULA)을 도입하고 분석한다. 표적 분포를 K의 지시함수의 모어-요시다 에너지로 정규화함으로써, 이 방법은 총 변동과 워샤우르스타인-1 거리에서 명시적인 다항시간 복잡도 한계를 보장하며, 고차원에서 제약 조건이 있는 베이지안 추론에 대한 이론적 보장을 수립한다.

ABSTRACT

This paper presents a detailed theoretical analysis of the Langevin Monte Carlo sampling algorithm recently introduced in Durmus et al. (Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau, 2016) when applied to log-concave probability distributions that are restricted to a convex body $\mathsf{K}$. This method relies on a regularisation procedure involving the Moreau-Yosida envelope of the indicator function associated with $\mathsf{K}$. Explicit convergence bounds in total variation norm and in Wasserstein distance of order $1$ are established. In particular, we show that the complexity of this algorithm given a first order oracle is polynomial in the dimension of the state space. Finally, some numerical experiments are presented to compare our method with competing MCMC approaches from the literature.

연구 동기 및 목표

• 콤팩트 지지 집합을 가진 로그볼록 분포에서 샘플링을 위한 이론적으로 타당한 MCMC 방법을 제공하는 것.
• 고차원 공간에서 프록시멀 랭게빈 몬테카를로 알고리즘(MYULA)의 수렴 복잡도를 분석하는 것.
• 알고리즘의 반복값과 표적 분포 사이의 총 변동과 워샤우르스타인-1 거리에 대한 명시적인 비점근적 경계를 수립하는 것.
• 알고리즘이 1차 오рак루스 액세스 하에 차원 d에 대해 다항시간 복잡도를 달성하는지 보여주는 것.

제안 방법

• 이 방법은 볼록체 K의 지시함수를 정규화하기 위해 모어-요시다 에너지를 사용하여, 비연속적인 제약 조건이 있는 표적을 부드럽고 프록시멀 근사로 변환한다.
• 부드러운 함수 f와 K의 지시함수의 모어-요시다 근사치를 조합한 정 régularized 잠재함수에 대해 조정되지 않은 랭게빈 알고리즘(ULA)을 적용한다.
• 단계 크기 γ를 사용하여 과다감쇠 랭게빈 SDE를 오일러-마르야모 이산화함으로써 이산시간 마르코프 체인을 구성한다.
• 커플링 기법과 볼록체 K의 기하학적 성질(직경 R과 내접반지름 r 포함)을 이용해 수렴 경계를 유도한다.
• 핵심 구성 요소로는 모어-요시다 매개수 λ, f의 리프시츠 연속 상수 L_f, 그리고 f의 강볼록성 매개수 m이 포함된다.
• 이론적 분석은 로그볼록성, 기울기 리프시츠 연속성, 그리고 K와 그 ε-근접 영역의 체적 성장 추정치를 활용한다.

실험 결과

연구 질문

• RQ1 프록시멀 랭게빈 몬테카를로 방법은 콤팩트 지지 집합을 가진 로그볼록 분포에서 다항시간 수렴을 달성할 수 있는가?
• RQ2 알고리즘의 출력과 표적 분포 사이의 총 변동과 워샤우르스타인-1 거리에 대한 명시적인 비점근적 경계는 무엇인가?
• RQ3 알고리즘의 복잡도는 상태 공간의 차원 d에 대해 어떻게 스케일링되는가?
• RQ4 모어-요시다 정규화는 비연속적인 제약 조건이 있는 표적에서 수렴성과 안정성을 보장하는 데 어떤 역할을 하는가?
• RQ5 잠재함수 f와 볼록체 K에 대해 어떤 조건에서 알고리즘이 기하학적 에르고딕성과 빠른 믹싱을 유지하는가?

주요 결과

• 표준 가정 하에, 알고리즘이 O(d log d) 반복 후 총 변동 거리 경계가 O(1/poly(d))의 순서로 달성된다.
• 워샤우르스타인 거리 1차 수준에서 명시적인 수렴 경계가 확립되었으며, 이는 반복 수 n에 따라 기하급수적으로 감소함을 보여준다.
• 알고리즘의 복잡도는 차원 d에 대해 다항식적이다. 특히, 워샤우르스타인-1 거리에서 ε 정확도를 달성하기 위해 O(d log d)회의 반복이 충분하다.
• 수렴 속도는 강볼록성 매개수 m, 리프시츠 상수 L_f, 그리고 볼록체 K의 직경 R에 따라 달라진다.
• 모어-요시다 정규화는 제약 조건이 있는 표적의 부드럽고 잘 행동하는 근사치에 대해 표준 ULA 이론을 적용할 수 있도록 해준다.
• 수치 실험은 이론적 경계를 확인하며, 제약 조건이 있는 사후분포에서 기존 MCMC 방법들과 경쟁 가능한 성능을 보여준다.