[논문 리뷰] Sequential Bayesian inference for mixture models and the coalescent using sequential Monte Carlo samplers with transformations

Richard G. Everitt, Richard Culliford외 2명|arXiv (Cornell University)|2016. 12. 20.

Bayesian Methods and Mixture Models인용 수 7

한 줄 요약

이 논문은 차원이 변하는 사후 분포(예: 혼합 모델 및 융합 나무 추론에서처럼)에 대한 베이지안 추론을 수행하기 위해 변환을 적용한 순차적 몬테카를로(SMC) 샘플러를 제안한다. 목표 공간 간의 일대일 변환과 적응형, 다중 경로 SMC를 사용함으로써, 데이터가 순차적으로 도착함에 따라 복잡하고 고차원적인 모델에 대해 효율적이고 유연하며 확장 가능한 추론이 가능해진다.

ABSTRACT

This paper introduces methodology for performing Bayesian inference sequentially on a sequence of posteriors on spaces of different dimensions. We show how this may be achieved through the use of sequential Monte Carlo (SMC) samplers (Del Moral et al., 2006, 2007), making use of the full flexibility of this framework in order that the method is computationally efficient. In particular we introduce the innovation of using a sequence of distributions that are defined on spaces between which bijective transformations exist, using these transformations to move particles effectively between one target distribution and the next. This approach, combined with adaptive methods and the use of multiple routes between targets, yields an extremely flexible and general algorithm for tackling the aforementioned situation. We demonstrate this approach on the well-studied problem of model comparison for mixture models, and for the novel application of inferring coalescent trees sequentially, as data arrives.

연구 동기 및 목표

• 사후 분포가 서로 다른 차원을 가진 공간에서 정의될 때, 순차적 베이지안 추론을 위한 일반적인 프레임워크를 개발하는 것.
• 계산적으로 효율적인 방식으로 차원이 다른 목표 사이를 이동하는 입자들을 다루는 과제를 해결하는 것.
• 유한 혼합 모델과 융합 나무와 같은 복잡한 모델에서 확장 가능하고 적응형 추론을 가능하게 하는 것.
• 데이터가 순차적으로 도착함에 따라 실시간으로 사후 분포를 업데이트할 수 있는 온라인 추론을 지원하는 것.

제안 방법

• 이 방법은 차원이 증가하는 목표 분포의 시퀀스를 거쳐 입자를 전파하기 위해 순차적 몬테카를로(SMC) 샘플러를 사용한다.
• 다른 차원을 가진 공간에서 정의된 목표 분포 간에 입자를 매핑하기 위해 일대일 변환을 사용하여 효과적인 입자 전파를 보장한다.
• 적응형 리샘플링과 다중 전이 경로를 통해 입자의 다양성과 열악한 성능을 줄인다.
• 유연한 제안 메커니즘을 통합하고 SMC의 전체 유연성을 활용하여 모든 목표에서 높은 유효 표본 크기를 유지한다.
• 변환은 사후 분포의 구조를 유지하면서도 모델 간에 차원 일致성 있는 이동을 가능하게 한다.
• 새로운 데이터가 도착함에 따라 사후 분포를 순차적으로 업데이트함으로써 온라인 학습을 지원하며, 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 차원이 변하는 여러 사후 분포의 시퀀스에서 효율적인 베이지안 추론을 어떻게 수행할 수 있는가?
• RQ2 다른 차원을 가진 공간 간의 일대일 변환은 SMC 샘플러에서 효과적인 입자 전파를 가능하게 하는가?
• RQ3 적응형 SMC 방법은 고차원과 저차원 모델 간 전이 시 높은 유효 표본 크기를 유지할 수 있는가?
• RQ4 이 방법은 유한 혼합 모델에서의 모델 비교에 얼마나 기여하는가?
• RQ5 이 프레임워크는 유전적 데이터가 누적됨에 따라 순차적 융합 나무 추론으로 확장될 수 있는가?

주요 결과

• 제안된 변환을 적용한 SMC 샘플러는 차원이 다른 여러 사후 분포의 시퀀스에서 효율적이고 정확한 추론을 가능하게 한다.
• 일대일 변환의 사용은 목표 간 입자 이동을 크게 향상시켜 열악한 성능을 줄이고 수렴성을 향상시킨다.
• 적응형 리샘플링과 다중 전이 경로로 인해 고차원 모델 공간에서 입자의 다양성과 강건성이 향상된다.
• 모든 목표에서 높은 유효 표본 크기를 달성하여 안정성과 확장 가능성을 입증한다.
• 이 프레임워크는 융합 나무 추정에 대한 순차적 추론을 성공적으로 지원하며, 이는 SMC로 이전에 다루지 않은 새로운 적용 분야이다.
• 실험 결과는 혼합 모델에서의 모델 비교 성능이 뛰어나며, 모델 증거와 사후 모델 확률의 신뢰성 있는 추정이 가능함을 보여준다.