[논문 리뷰] Hybrid Monte Carlo methods for sampling probability measures on submanifolds

Tony Lelièvre, Mathias Rousset외 1명|arXiv (Cornell University)|2018. 07. 06.

Markov Chains and Monte Carlo Methods참고 문헌 37인용 수 41

한 줄 요약

이 논문은 메트로폴리스-하스팅스 보정 단계에 역방향 투영 검사를 통합하여 부분다양체 위의 확률측도를 샘플링하기 위한 일반화된 하이브리드 몬테카를로(GHMC) 방법을 제안한다. 이 방법은 세부 균형을 보장하고, 큰 시간 간격에서도 불변 측도의 편향을 제거한다. 수치 실험을 통해 역방향 검사가 정확성과 효율성에 필수적임을 입증하였으며, 특히 기저 통합기의 가역성이 깨지는 정도의 큰 시간 간격에서 특히 그렇다.

ABSTRACT

Probability measures supported on submanifolds can be sampled by adding an extra momentum variable to the state of the system, and discretizing the associated Hamiltonian dynamics with some stochastic perturbation in the extra variable. In order to avoid biases in the invariant probability measures sampled by discretizations of these stochastically perturbed Hamiltonian dynamics, a Metropolis rejection procedure can be considered. The so-obtained scheme belongs to the class of generalized Hybrid Monte Carlo (GHMC) algorithms. We show here how to generalize to GHMC a procedure suggested by Goodman, Holmes-Cerfon and Zappa for Metropolis random walks on submanifolds, where a reverse projection check is performed to enforce the reversibility of the algorithm for large timesteps and hence avoid biases in the invariant measure. We also provide a full mathematical analysis of such procedures, as well as numerical experiments demonstrating the importance of the reverse projection check on simple toy examples.

연구 동기 및 목표

• 이산화 오차에서 비편향되는 부분다양체 위의 확률측도를 샘플링하는 일반화된 하이브리드 몬테카를로(GHMC) 알고리즘을 개발하기 위해.
• 굿먼 등(2018)의 역방향 투영 검사 기법을 비제로 기울기 힘을 가진 GHMC 계획으로 확장하기 위해.
• 임의의 시간 간격에서 부분다양체 위의 GHMC 이산화의 가역성 성질을 수학적으로 정형화하기 위해.
• 수치적으로 역방향 투영 검사가 비편향 샘플링에 필수적임을 입증하기 위해, 특히 시간 간격이 크기 때문에 가역성이 깨지는 경우에 대해.
• 불변 측도와 샘플링 효율성에 대한 가역성 검사의 영향을 완전히 분석하기 위해.

제안 방법

• 제약된 해밀턴 역학 통합기(예: RATTLE)를 사용한 제안 단계와 동역학적 운동량 재샘플링을 포함한 GHMC 계획을 도입한다.
• 초기 상태와 제안된 상태에서의 목표 확률 밀도 비율을 사용하여 메트로폴리스-하스팅스 보정을 적용한다.
• 역방향 투영 검사를 통합한다: 제안된 상태에서 동일한 투영 절차를 통해 원래 상태로 되돌아오는지 확인한다.
• 비제약 동역학 단계를 부분다양체로 다시 투영하기 위해 라그랑주 승수 함수를 정의한다.
• 투영 및 역방향 투영 단계에서 발생하는 비선형 방정식을 해결하기 위해 뉴턴 방법을 사용한다.
• 완전한 기각 메커니즘을 구현한다: (1) 정방향 또는 역방향 단계에서 뉴턴 수렴 실패, (2) 가역성 실패(즉, (q,p) ≠ ΨΔt ◦ ΨΔt(q,p)), 및 (3) 밀도 비율에 기반한 메트로폴리스 수락/기각.

실험 결과

연구 질문

• RQ1 비제로 기울기 힘을 가진 GHMC 계획으로 확장하여, 메트로폴리스 랜덤 워크에서의 역방향 투영 검사를 일반화할 수 있는가?
• RQ2 역방향 투영 검사를 포함함으로써, 부분다양체 위의 GHMC에서 큰 시간 간격에서도 불변 측도의 편향이 제거되는가?
• RQ3 제약 다각형 위의 GHMC에서, 가역성 실패로 인한 기각률은 시간 간격 크기와 어떻게 비례하는가?
• RQ4 특히 고립 상태가 존재하는 시스템에서, 역방향 투영 검사의 샘플링 효율성에 미치는 영향은 어떠한가?
• RQ5 기존 HMC에서 요구하는 바와 같이 작은 시간 간격에 의존하지 않고도, 이 방법이 비편향 샘플링을 달성할 수 있는가?

주요 결과

• 큰 시간 간격(Δt = 1)에서 GHMC의 비가역성 기각률은 15–20%에 달하여, 역방향 검사가 편향 제거에 필수적임을 시사한다.
• 힘을 0으로 설정하면(메트로폴리스 랜덤 워크로 축소됨), 최적 시간 간격은 약 1이며, 비가역성 기각률은 약 5%로 유지되어 검사가 여전히 필수적임을 보여준다.
• 고립 상태에 머무르는 평균 시간은 GHMC에서는 1/Δt 비례, MALA에서는 1/Δt² 비례함을 확인하여, 기저 동역학의 올바른 비례 스케일링을 확인한다.
• Δt = 0.1일 때 비가역성 기각률은 근처 0(10⁻⁹)으로 떨어지지만, 총 기각률은 여전히 높게 유지됨(~6.7×10⁻⁴)으로, 작은 시간 간격에서는 메트로폴리스 기각이 지배적임을 나타낸다.
• 역방향 투영 검사가 가장 자주 발생하는 시간 간격에서 샘플링 효율성이 최적화됨을 확인하여, 비편향 샘플링을 위해 검사의 필요성을 입증한다.
• 수치 실험을 통해 역방향 검사를 생략할 경우, 특히 큰 시간 간격에서 심각한 편향이 발생함을 확인하였으며, 메트로폴리스 보정이 적용되어 있더라도 마찬가지였다.