[논문 리뷰] Information Geometry and Sequential Monte Carlo

Aaron Sim, Sarah Filippi외 1명|arXiv (Cornell University)|2012. 12. 04.

Markov Chains and Monte Carlo Methods참고 문헌 11인용 수 7

한 줄 요약

이 논문은 높은 차원의 상관관계가 있는 매개변수 공간에서 샘플링 효율성을 향상시키기 위해 리만 다양체 메트로폴리스 조정 랑주르 알고리즘(mMALA)을 전이 커널로 사용하는 정보 기하학적 강화된 순차 몽테카를로(SMC) 샘플러를 제안한다. 통계 다양체 공간 내 기하학적 경로를 따라 중간 분포를 구성함으로써, 동적 시스템의 베이지안 추론에서 효과적인 샘플 크기와 통계적 안정성이 크게 향상됨을 입증하였다. 이는 로트카-볼테라 및 피츠휴-나구모 모델을 대상으로 표준 적응형 랜덤 워크 커널과 비교한 결과에서 확인되었다.

ABSTRACT

This paper explores the application of methods from information geometry to the sequential Monte Carlo (SMC) sampler. In particular the Riemannian manifold Metropolis-adjusted Langevin algorithm (mMALA) is adapted for the transition kernels in SMC. Similar to its function in Markov chain Monte Carlo methods, the mMALA is a fully adaptable kernel which allows for efficient sampling of high-dimensional and highly correlated parameter spaces. We set up the theoretical framework for its use in SMC with a focus on the application to the problem of sequential Bayesian inference for dynamical systems as modelled by sets of ordinary differential equations. In addition, we argue that defining the sequence of distributions on geodesics optimises the effective sample sizes in the SMC run. We illustrate the application of the methodology by inferring the parameters of simulated Lotka-Volterra and Fitzhugh-Nagumo models. In particular we demonstrate that compared to employing a standard adaptive random walk kernel, the SMC sampler with an information geometric kernel design attains a higher level of statistical robustness in the inferred parameters of the dynamical systems.

연구 동기 및 목표

• 동적 시스템의 베이지안 추론에서 흔히 발생하는 고차원이고 상관관계가 있는 매개변수 공간에서 순차 몽테카를로(SMC) 샘플러의 효율성과 안정성을 향상시키는 것.
• 특히 리만 다양체의 구조와 기하학적 경로를 포함한 정보 기하학 원리를 SMC 전이 커널 설계에 통합하는 것.
• 누적 발산을 최소화하기 위해 통계 다양체 공간 내 기하학적 경로를 따라 중간 분포의 순서를 최적화하는 것.
• SMC에서 mMALA를 제안 커널로 사용할 경우 표준 적응형 랜덤 워크 커널보다 더 높은 효과적인 샘플 크기와 더 신뢰할 수 있는 매개변수 추론이 가능함을 입증하는 것.
• 일반선형미분방정식 모델을 포함한 복잡한 추론 문제에 대해 효율적인 SMC 알고리즘 설계를 위한 이론적으로 탄탄한 기하학적 프레임워크를 제공하는 것.

제안 방법

• 매개변수 공간의 곡률을 고려하기 위해 피셔 정보 메트릭을 활용하여, 리만 다양체 메트로폴리스 조정 랑주르 알고리즘(mMALA)을 SMC 프레임워크 내에서 완전히 적응형 전이 커널로 적용한다.
• 통계 다양체 내 기하학적 경로를 따라 중간 분포를 구성함으로써, 연속적인 분포 간의 쿨백-라이블러 발산을 최소화하여 제안 효율성을 향상시킨다.
• 랭주르르 확산 확률미분방정식(SDE)의 고차수 오자키 이산화를 사용하여 더 안정적이고 정확도가 높은 제안 분포를 도출한다. 이는 수렴 성질을 향상시킨다.
• 통계 다양체 상에서 피셔 메트릭과 그 일阶 및 이阶 도함수에 대한 명시적 표현을 유도함으로써, mMALA 커널 내 곡률 인식 제안 분포를 가능하게 한다.
• 리만 메트릭을 사용하여 제안 커널 내 상태에 따라 변화하는 공분산 구조를 정의함으로써, 높은 상관관계와 고차원 매개변수 공간의 효율적 탐색을 가능하게 한다.
• 결과적으로 유도된 SMC 샘플러를 동적 시스템의 순차 베이지안 추론 문제에 적용하며, 시스템 역학을 기술하기 위해 일반선형미분방정식을 사용한다.

실험 결과

연구 질문

• RQ1 정보 기하학이 고차원이고 상관관계가 있는 매개변수 공간에서 샘플링 효율성을 향상시키기 위해 순차 몽테카를로 샘플러에 효과적으로 통합될 수 있는가?
• RQ2 통계 다양체 내 기하학적 경로를 따라 중간 분포를 구성할 경우, SMC 알고리즘에서 더 높은 효과적인 샘플 크기와 더 나은 수렴 성질을 달성할 수 있는가?
• RQ3 표준 적응형 랜덤 워크 커널을 사용하는 SMC 샘플러와 비교했을 때, mMALA 커널을 사용하는 SMC 샘플러의 통계적 안정성과 매개변수 추론 정확도는 어떻게 다른가?
• RQ4 mMALA 프레임워크 내에서 랑주르르 확산 제안에 대해 오자키 이산화와 옐러 방법을 사용할 경우의 영향은 무엇인가?
• RQ5 일반선형미분방정식으로 모델링된 동적 시스템의 추론에서, 피셔 메트릭을 통한 곡률 인식 샘플링은 어느 정도 향상되는가?

주요 결과

• 시험된 동적 시스템에서 정보 기하학적 mMALA 커널을 사용하는 SMC 샘플러는 표준 적응형 랜덤 워크 커널보다 훨씬 높은 효과적인 샘플 크기를 달성한다.
• 통계 다양체 내 기하학적 경로를 따라 중간 분포를 배치함으로써, 더 효율적인 탐색과 연속 분포 간의 발산 감소가 이루어져 샘플링 효율성이 향상된다.
• 매개변수 공간의 리만 기하학에 기반한 mMALA 커널은 높은 상관관계와 고차원 매개변수 공간의 더 효과적인 탐색을 가능하게 하여 베이지안 추론에서 유의미한 성능 향상을 이룬다.
• 로트카-볼테라 및 피츠휴-나구모 모델의 경우, 제안된 방법은 매개변수 추론에서 더 높은 통계적 안정성, 더 낮은 분산 및 향상된 수렴 안정성을 보였다.
• 랭주르르 제안에 고차수 오자키 이산화를 사용할 경우, 옐러 방법 대비 더 나은 수치 안정성과 진짜 확산 과정에 대한 개선된 근사치를 제공한다.
• 통계 다양체 상에서 피셔 메트릭과 그 도함수에 대한 명시적 해석적 표현을 도출하였으며, 이는 SMC 프레임워크 내 곡률 인식 제안 분포를 가능하게 하였다.