[논문 리뷰] Langevin Monte Carlo and JKO splitting

Espen Bernton|arXiv (Cornell University)|2018. 02. 23.

Markov Chains and Monte Carlo Methods참고 문헌 15인용 수 9

한 줄 요약

이 논문은 랭베르트 몬테카를로 알고리즘, 워샤프스타인 기울기 유동, 그리고 연산자 분할 방법 간의 새로운 연결을 수립한다. 비조정 랭베르트 알고리즘(Underadjusted Langevin Algorithm, ULA)의 프록시멀 형태가 포화-플랑크 방정식에 적용된 분할 기법에서 유도됨을 보이며, 일반적인 볼록 잠재함수(해당 함수가 미분 가능하지 않을 수도 있음) 하에서 ULA의 새로운 비점근 수렴 한계를 가능하게 한다.

ABSTRACT

Algorithms based on discretizing Langevin diffusion are popular tools for sampling from high-dimensional distributions. We develop novel connections between such Monte Carlo algorithms, the theory of Wasserstein gradient flow, and the operator splitting approach to solving PDEs. In particular, we show that a proximal version of the Unadjusted Langevin Algorithm corresponds to a scheme that alternates between solving the gradient flows of two specific functionals on the space of probability measures. Using this perspective, we derive some new non-asymptotic results on the convergence properties of this algorithm.

연구 동기 및 목표

• 랭베르트 기반 몬테카를로 샘플링을 워샤프스타인 기울기 유동 이론과 연산자 분할 이론 간에 연결한다.
• 잠재함수의 미분 가능성에 대한 최소한의 가정 하에서 프록시멀 비조정 랭베르트 알고리즘(pULA)의 새로운 비점근 수렴 결과를 제공한다.
• 해당 함수가 미분 가능하지 않은 경우를 포함한 비미분 가능 정규화자(regularizer)를 가진 경우에도 수렴 분석을 일반화한다.
• 포화-플랑크 역학, JKO 분할, 그리고 샘플링 알고리즘을 통합하는 이론적 프레임워크를 제공한다.
• 최적 운반 이론과 PDE에서 알려진 분할 기법 및 변분 적분기법을 활용하여 새로운 알고리즘 설계를 제안한다.

제안 방법

• 포화-플랑크 방정식에 JKO (Jordan-Kinderlehrer-Otto) 기법을 적용하여, 2-워샤프스타인 공간에서 상대 엔트로피의 기울기 유동으로 간주한다.
• 연산자 분할을 사용하여 포화-플랑크 역학을 두 개의 기울기 유동으로 분해한다: 잠재 에너지에 대한 하나와 엔트로피에 대한 하나.
• 프록시멀 ULA는 이 분할 기법의 시간 이산화된 형태로 도출되며, 프록시멀 단계는 잠재함수의 비미분 성분을 처리한다.
• 잠재함수가 비미분 가능할 경우에도 잘 정의되고 수렴함을 보장하기 위해 메트릭 공간에서의 기울기 유동 이론(Ambrosio 등, 2005)을 활용한다.
• 시간 이산화 및 분할에 기인한 누적 오차를 분석하여 2-워샤프스타인 거리에서의 수렴 속도를 확립한다.
• 이동 볼록성과 로그-소볼레프 유사 부등식을 사용하여 기울기 유동이 목표 측도로 수렴하는 것을 제어한다.

실험 결과

연구 질문

• RQ1 비조정 랭베르트 알고리즘은 포화-플랑크 방정식에 대한 시간 이산화된 연산자 분할 기법으로 해석될 수 있는가?
• RQ2 워샤프스타인 공간에서 포화-플랑크 방정식에 대한 JKO 유사 분할에 의해 프록시멀 ULA가 자연스럽게 유도되는가?
• RQ3 잠재함수가 볼록하지만 반드시 미분 가능하지 않은 경우, 프록시멀 ULA의 비점근 수렴 속도는 어떠한가?
• RQ4 유사 가정 하에서 기존 문헌의 결과와 비교해 볼 때 pULA의 수렴 속도는 어떻게 되는가?
• RQ5 워샤프스타인 기울기 유동과 연산자 분할의 프레임워크를 활용하여 수렴 성질이 향상된 새로운 샘플링 알고리즘을 설계할 수 있는가?

주요 결과

• 프록시멀 비조정 랭베르트 알고리즘(pULA)은 JKO 프레임워크를 통해 포화-플랑크 방정식에 적용된 시간 분할 기법과 동치임을 보였다.
• 강한 볼록 잠재함수에 대해 그라디언트가 리프시츠 조건을 만족할 경우, pULA는 스텝 사이즈 $ h = \mathcal{O}(\varepsilon^2 / d) $ 를 사용하여 $ n = \Omega(d \varepsilon^{-2} \log(d\varepsilon^{-2})^2) $ 번의 반복을 통해 2-워샤프스타인 오차를 $ \mathcal{O}(\varepsilon) $ 수준으로 달성하며, 이는 로그 인자 외에는 기존 결과와 일치하는 수렴 속도를 보인다.
• 잠재함수에 $ \ell_1 $-유형 정규화자(예: $ g(x) \propto \|x\|_1 $)가 포함된 경우, 필요한 반복 수는 $ n = \Omega(d^2 / \varepsilon^4) $ 로 증가하며, 이는 Grappin (2018)의 결과($ n = \Omega(d^3 / \varepsilon^4) $)에 비해 향상된 것이다.
• 이 분석은 반드시 미분 가능하지 않은 볼록 잠재함수에도 적용 가능하여, ULA 수렴 결과의 적용 범위를 미분 가능한 설정을 초월해 확장한다.
• 정확한 기울기 유동이 목표 측도 $ \pi $ 로 수렴하는 속도는 잠재함수의 볼록성과 이동 볼록성에 의해 제어되며, 강한 볼록성 조건 하에서는 지수 수렴을 보인다.
• 증명 프레임워크는 비미분 가능 잠재함수로 일반화 가능하지만, $ \lambda $-이동 볼록성의 더 잘 활용된 분석을 통해 더욱 날카운 수렴 한계를 확보할 수 있을 것으로 보인다. 이는 제한 사항으로 언급되어 있다.