[논문 리뷰] Manifold Markov chain Monte Carlo methods for Bayesian inference in a wide class of diffusion models

Matthew M. Graham, Alexandre H. Thiéry외 1명|arXiv (Cornell University)|2019. 12. 06.

Markov Chains and Monte Carlo Methods참고 문헌 36인용 수 6

한 줄 요약

이 논문은 관측된 경로와 일치하는 경로를 생성하는 잠재적 소음과 파rameter의 암묵적으로 정의된 다양체 위에서 제약 조건이 있는 해밀토니안 몽테카를로(MHMC)를 활용하여 이산적으로 관측된 확산 모델에서 베이지안 추론을 위한 다양체 마르코프 체인 몽테카를로(MCMC) 방법을 제안한다. 이 방법은 선형 또는 비선형 관측 연산자, 관측 노이즈 유무, 타원형 또는 히포-타원형 시스템을 포함한 다양한 설정에서 효율적이고 자동화된 추론을 가능하게 하며, 경로 이산화와 관측 시간에 대해 선형으로 확장된다.

ABSTRACT

Bayesian inference for nonlinear diffusions, observed at discrete times, is a challenging task that has prompted the development of a number of algorithms, mainly within the computational statistics community. We propose a new direction, and accompanying methodology, borrowing ideas from statistical physics and computational chemistry, for inferring the posterior distribution of latent diffusion paths and model parameters, given observations of the process. Joint configurations of the underlying process noise and of parameters, mapping onto diffusion paths consistent with observations, form an implicitly defined manifold. Then, by making use of a constrained Hamiltonian Monte Carlo algorithm on the embedded manifold, we are able to perform computationally efficient inference for an extensive class of discretely observed diffusion models. Critically, in contrast with other approaches proposed in the literature, our methodology is highly automated, requiring minimal user intervention and applying alike in a range of settings, including: elliptic or hypo-elliptic systems; observations with or without noise; linear or non-linear observation operators. Exploiting Markovianity, we propose a variant of the method with complexity that scales linearly in the resolution of path discretisation and the number of observation times.

연구 동기 및 목표

• 기존 방법이 계산적 및 구현적 과제를 겪는 비선형, 이산적으로 관측되는 확산 모델에서의 베이지안 추론 문제를 해결하기 위해.
• 선형 또는 비선형 관측 연산자, 노이즈 유무, 타원형 또는 히포-타원형 시스템을 포함한 광범위한 확산 모델 클래스에 적용 가능한 통합적이고 자동화된 추론 프레임워크를 개발하기 위해.
• 확산 과정의 마르코프 성질을 활용하여 경로 이산화와 관측 시간에 대해 선형 시간 복잡도를 달성하기 위해.
• 타원형 또는 히포-타원형 시스템, 노이즈가 있는 또는 없는 관측 환경에서도 강건한 추론을 가능하게 하기 위해.
• 조정 요구 사항을 최소화하여 사용자 의존도를 낮추고 다양한 모델링 시나리오에서 널리 접근 가능하게 하기 위해.

제안 방법

• 이 방법은 관측 데이터와 일치하는 경로를 생성하는 과정 소음과 모델 파rameter의 조합으로 이루어진 다각형을 식별한다.
• 추론 문제를 이 암묵적으로 정의된 다각형에서 샘플링하는 것으로 설정하고, 제약 조건이 있는 해밀토니안 몽테카를로 알고리즘을 사용한다.
• 제약 조건이 있는 HMC는 라그랑주 승수 또는 투영 기법을 통해 관측 일치 조건을 강제함으로써 임bedded 다각형 위에서 작동한다.
• 이 방법은 확산 과정의 마르코프 성질을 활용하여 공동 경로 추론을 국소적 업데이트의 시퀀스로 분해함으로써 선형 시간 복잡도를 달성한다.
• 알고리즘은 재매개변수화에 대해 불변이며 최소한의 조정을 필요로 하여 자동화와 강건성을 향상시킨다.
• 선형 및 비선형 관측 연산자를 모두 지원하며, 동일한 프레임워크를 통해 노이즈가 있는 또는 없는 관측을 통합적으로 처리한다.

실험 결과

연구 질문

• RQ1 광범위한 이산적으로 관측된 확산 모델 클래스에 대해 통합적이고 자동화된 MCMC 방법을 개발할 수 있는가?
• RQ2 고차원 상태 공간에서 복잡하고 암묵적으로 정의된 잠재 소음 및 파rameter의 다각형 위에서 제약 조건이 있는 샘플링을 어떻게 효율적으로 수행할 수 있는가?
• RQ3 확산 과정의 마르코프 성질을 활용함으로써 추론의 계산 복잡도를 어느 정도 낮출 수 있는가?
• RQ4 사용자 간섭 없이도 비선형 관측 연산자와 복잡한 종속성 구조를 가진 히포-타원형 시스템 등 다양한 설정에서 강력한 성능을 유지할 수 있는가?
• RQ5 실제로 경로 이산화 수와 관측 시간 수가 증가함에 따라 이 방법은 어떻게 확장되는가?

주요 결과

• 제안된 방법은 관측 시간 수와 경로 이산화 해상도에 대해 선형으로 확장되며, 고해상도 설정에서도 효율적인 추론을 가능하게 한다.
• 이 방법은 완전히 자동화되어 최소한의 사용자 조정을 요구하며, 타원형 또는 히포-타원형 시스템을 포함한 다양한 모델 클래스에 동일하게 적용된다.
• 일관된 프레임워크를 통해 노이즈가 있는 관측과 없는 관측을 모두 처리하며, 모델 특화 조정이 필요하지 않다.
• 다각형 위에서의 제약 조건이 있는 해밀토니안 몽테카를로 알고리즘은 고차원 및 복잡한 상태 공간에서도 사후 분포의 정확한 탐색을 가능하게 한다.
• 이 방법은 비선형 관측 연산자와 확산 과정에 내재된 복잡한 종속성 구조를 가진 상황에서도 강력한 성능을 유지한다.
• 실험 결과는 이 방법이 최소한의 사용자 입력으로 신뢰할 수 있는 사후 추론을 제공하며, 자동화성과 확장성 측면에서 기존 방법을 능가함을 보여준다.