[논문 리뷰] Note on the geodesic Monte Carlo

Andrew J. Holbrook|arXiv (Cornell University)|2018. 05. 14.

Statistical and numerical algorithms인용 수 3

한 줄 요약

이 논문은 임bedded 다양체 위에서 베이지안 추론을 위한 지선 몬테카를로(gMC)의 두 가지 개념적으로 더 단순한 유도 방법을 제시한다. 기존 알고리즘은 비틀림이 없는 질량 행렬을 가진 더 넓은 알고리즘 클래스의 특수한 경우로 나타나며, 임베딩 좌표계에서만 작업하고 내재 기하학을 피하기 때문에, 우선도가 유클리드 공간에 정의된 경우 수용 확률에서 자코비안 보정이 필요하지 않다.

ABSTRACT

Geodesic Monte Carlo (gMC) is a powerful algorithm for Bayesian inference on non-Euclidean manifolds. The original gMC algorithm was cleverly derived in terms of its progenitor, the Riemannian manifold Hamiltonian Monte Carlo (RMHMC). Here, it is shown that alternative and theoretically simpler derivations are available in which the original algorithm is a special case of two general classes of algorithms characterized by non-trivial mass matrices. The proposed derivations work entirely in embedding coordinates and thus clarify the original algorithm as applied to manifolds embedded in Euclidean space.

연구 동기 및 목표

• 지선 몬테카를로(gMC)의 이론적 기초를 더 직관적인 원리로부터 유도함으로써 명확히 하기.
• 목표 분포가 유클리드 공간에 정의된 경우 기존 gMC가 내재 기하학에 의존함으로써 야기되는 혼동을 해결하기.
• 기존 gMC 알고리즘이 비자명한 질량 행렬을 가진 두 가지 일반적인 알고리즘 클래스의 특수한 경우임을 보여주기.
• 우선도가 임베딩 좌표계에 정의된 경우 자코비안 보정이 불필요하다는 것을 입증하기 (초기 가정과는 반대로).
• 예를 들어 버트-미제스-파이셔 또는 행렬 빙하-버트-미제스-파이셔 분포와 같은 유클리드 공간에 우선도가 정의된 모델에 대해 gMC의 더 간단한 구현과 확장 가능성을 제공하기.

제안 방법

• 등각 임베딩 사상 $x: \mathcal{Q} \to \mathbb{R}^d$ 를 사용해 내재 좌표계에서 임베딩 좌표계로의 변수 변경을 통한 gMC 유도.
• 임베딩 공간 내의 운동량을 속도 유사 변수로 변환하기 위해 질량 행렬 $M = J_x(q) G(q)^{-1}$ 도입.
• 접선 공간에 대한 투영 행렬 $\Pi_x$ 를 사용해 임베딩된 위치 $x$ 와 변환된 운동량 $v = Mp$ 를 기반으로 해밀토니안 수립.
• 해밀토니안을 두 부분으로 분할: 운동량 변동에 대한 $H^{[1]}$ 과 지선 운동에 대한 $H^{[2]}$ 로 나누어 반복적 시뮬레이션 가능하게 함.
• 속도 기반 역학을 사용하고 $v$ 에 대해 비퇴직성 가우시안 우선도를 도입해 두 번째 유형의 알고리즘 유도. 이 경우 로그-가짜행렬식이 상쇄되어 수용 확률이 단순화됨.
• 속도와 운동량의 변환에 기반한 자코비안 보정을 메트로폴리스-하스팅스 보정에 적용. $M = I$ 일 때 이 보정이 간소화됨.

실험 결과

연구 질문

• RQ1 목표 분포가 유클리드 공간에 정의된 경우, 내재 기하학에 의존하지 않고 지선 몬테카를로를 유도할 수 있는가?
• RQ2 우선도가 임베딩 좌표계에 정의된 경우 해밀토니안에 로그-자코비안 항이 반드시 필요한가?
• RQ3 기존 gMC를 포함하는 일반적인 알고리즘 클래스는 무엇이며, 비자명한 질량 행렬은 역학에 어떤 영향을 미치는가?
• RQ4 우선도가 임베딩 공간에 정의된 경우 gMC의 수용 확률은 어떻게 단순화될 수 있으며, 질량 행렬은 어떤 역할을 하는가?
• RQ5 기존 gMC 알고리즘이 속도 또는 운동량 변환에 기반한 더 일반적이고 직관적인 알고리즘 가족의 특수한 경우로 복원될 수 있는가?

주요 결과

• 기존 지선 몬테카를로 알고리즘은 비틀림이 없는 질량 행렬을 가진 두 가지 일반적인 알고리즘 클래스의 특수한 경우로, 임베딩 좌표계를 통해 도출된다.
• 우선도가 환경 유클리드 공간에 정의된 경우(예: 구 위의 버트-미제스-파이셔), 해밀토니안의 로그-자코비안 항은 불필요하며 생략할 수 있다.
• 속도 기반 유도에서는 수용 확률이 크게 단순화되며, 로그-가짜행렬식 항이 상쇄되어 더 깔끔한 표현이 도출된다: $\alpha = -\log\pi(x_0) + \frac{1}{2}v_0^T(\Pi_{x_0}M\Pi_{x_0})v_0 + \log\pi(x_T) - \frac{1}{2}v_T^T(\Pi_{x_T}M\Pi_{x_T})v_T$.
• $M = I$ 일 때 기존 gMC가 복원되며, 자코비안 보정이 완전히 사라진다. 이는 알고리즘이 오직 이 경우에만 심플렉틱하다는 것을 확인한다.
• 유도 과정은 gMC를 코탄젠트 또는 탄젠트 번들의 랜덤 워크로 해석할 수 있으며, 특히 속도 기반 버전이 더 직관적임을 명확히 한다.
• 내재 기하학과 좌표계를 피하기 때문에, 우선도가 임베딩 공간에 정의된 모델에 대해 더 접근 가능하고 실용적인 방법이 된다.