[논문 리뷰] Proximal Langevin Algorithm: Rapid Convergence Under Isoperimetry

Andre Wibisono|arXiv (Cornell University)|2019. 11. 04.

Markov Chains and Monte Carlo Methods참고 문헌 53인용 수 14

한 줄 요약

이 논문은 등고선 조건을 만족하는 분포에서 표본을 추출하기 위한 Proximal Langevin Algorithm (PLA)의 빠른 수렴을 확립한다. 이 등고선 조건에는 로그-소볼레프 또는 파인카레 부등식이 포함된다. 세 번째 차수 미분 가능성과 로그-소볼레프 부등식 조건 하에서, PLA는 이전 방법에 비해 로그-소볼레프 상수에 대한 개선된 의존성으로 Kullback-Leibler 발산에서 최적 수렴 속도를 달성하며, 등고선 조건 하에서 메트로폴리스 필터 없이도 알려진 가장 빠른 비-메트로폴리스 표본 추출 속도를 따라간다.

ABSTRACT

We study the Proximal Langevin Algorithm (PLA) for sampling from a probability distribution $ν= e^{-f}$ on $\mathbb{R}^n$ under isoperimetry. We prove a convergence guarantee for PLA in Kullback-Leibler (KL) divergence when $ν$ satisfies log-Sobolev inequality (LSI) and $f$ has bounded second and third derivatives. This improves on the result for the Unadjusted Langevin Algorithm (ULA), and matches the fastest known rate for sampling under LSI (without Metropolis filter) with a better dependence on the LSI constant. We also prove convergence guarantees for PLA in Rényi divergence of order $q > 1$ when the biased limit satisfies either LSI or Poincaré inequality.

연구 동기 및 목표

• 등고선 조건을 만족하는 분포에서 표본을 추출하기 위한 Proximal Langevin Algorithm (PLA)의 빠른 수렴 보장을 확립하는 것.
• 암시적 업데이트와 더 강한 미분 가능성 가정을 활용하여 기존의 조정되지 않은 Langevin 알고리즘의 수렴 속도를 향상시키는 것.
• 로그-소볼레프 및 파인카레 부등식 조건 하에서 Kullback-Leibler 및 Rényi 발산에서 PLA의 편향과 수렴 성질을 분석하는 것.
• 메트로폴리스 필터 없이도 로그-소볼레프 부등식 조건 하에서 알려진 가장 빠른 수렴 속도를 달성할 수 있음을 보여주는 것.
• 파인카레 또는 로그-소볼레프 상수에 의존하는 Rényi 발산의 반복 복잡도 한계를 제공하며, 파인카레 조건 하에서는 차원에 따라 변하는 요소를 포함하는 것.

제안 방법

• 논문은 PLA를 연속 시간 Langevin 동역학의 백워드 오일러 이산화로 분석하며, 프록시멀 최소화를 통한 암시적 업데이트를 사용한다.
• 잠재 함수 f의 세 번째 차수 미분계수가 유계일 때, 로그-소볼레프 부등식(LSI) 조건 하에서 KL 발산 수렴을 확립한다.
• Rényi 발산의 경우, 알고리즘의 시간 연속 보간을 사용하고, Rényi 발산 속도를 포함하는 미분 부등식을 적용한다.
• 증명은 편향된 극한 분포 νε가 설정에 따라 파인카레 또는 LSI를 만족하며, 시간 연속 경로를 통해 발산 감쇠를 제어하는 데 활용된다.
• 핵심 기술 도구로는 프록시멀 매핑을 일대일 사상으로 사용하고, 등고선 조건 하에서 Rényi 발산 감쇠에 대한 보조정리의 적용이 포함된다.
• 분석은 두 영역으로 나뉜다: Rényi 발산이 크기 (>1)일 때와 작기 (≤1)일 때로, 각각 선형 또는 지수 감쇠를 유도한다.

실험 결과

연구 질문

• RQ1 로그-소볼레프 부등식과 세 번째 차수 미분 가능성 조건 하에서, Proximal Langevin Algorithm은 KL 발산에서 최적 수렴 속도를 달성할 수 있는가?
• RQ2 PLA는 기존의 조정되지 않은 Langevin 알고리즘에 비해 로그-소볼레프 상수에 대해 더 나은 의존성을 가지는가?
• RQ3 편향된 극한 분포가 파인카레 또는 로그-소볼레프 부등식을 만족할 때, PLA의 Rényi 발산 수렴 행동은 어떠한가?
• RQ4 메트로폴리스 필터 없이도 KL 발산에서 거의 최적의 반복 복잡도를 달성하기 위해 PLA의 편향을 제어할 수 있는가?
• RQ5 등고선 조건 하에서, PLA의 반복 복잡도는 연속 시간 동역학과 비교해 어떻게 되는가?

주요 결과

• 로그-소볼레프 부등식과 세 번째 차수 미분 가능성 조건 하에서, PLA는 이전 ULA 결과에 비해 LSI 상수 α에 대한 개선된 의존성으로 O(1/α) 속도로 KL 발산 감쇠를 달성한다.
• KL 발산에서 PLA의 반복 복잡도는 목표 오차 δ에 대해 O(1/δ)이며, LSI 조건 하에서 비-메트로폴리스 표본 추출의 알려진 가장 빠른 속도와 일치한다.
• q>1인 Rényi 발산의 경우, 파인카레 부등식 조건 하에서 상수 β에 대해 O(e^{-βεk/q}) 속도로 수렴하며, LSI 조건 하보다 n 배 더 큰 복잡도를 가진다.
• 초기 Rényi 발산이 ≤1일 경우, 알고리즘이 속도 βε/q로 지수 감쇠를 보이며, 빠른 수렴을 보장한다.
• 세 번째 차수 미분 가능성 조건 하에서 PLA의 편향은 O(ε²)로 나타나지며, 이는 ULA의 O(ε) 편향에 비해 개선된 반복 복잡도를 이끈다.
• 분석은 O(1/βε)회의 반복 후 Rényi 발산이 1 이하로 떨어지며, 이후 지수 감쇠 한계를 적용할 수 있음을 증명한다.