[논문 리뷰] Sequential Monte Carlo methods for graphical models

Christian A. Naesseth, Fredrik Lindsten외 1명|arXiv (Cornell University)|2014. 02. 03.

Bayesian Methods and Mixture Models참고 문헌 29인용 수 4

한 줄 요약

이 논문은 일반적인 확률적 그래픽 모델(PGMs)에서 근사 추론을 위한 순차적 몬테카를로(SMC) 알고리즘을 제안한다. 이는 확률 공간을 점진적으로 증가시키는 보조 분포로 모델을 순차적으로 분해하는 방식을 사용한다. 이 방법은 분할 함수에 대한 불편 추정치를 제공하며, 입자 마르코프 체인 몬테카를로(_particle MCMC_) 추론을 가능하게 하여 이산 및 연속 변수를 모두 지원하고 임의의 그래프 구조를 수용한다.

ABSTRACT

Inference in probabilistic graphical models (PGMs) does typically not allow for analytical solutions, confining us to various approximative methods. We propose a sequential Monte Carlo (SMC) algorithm for inference in general PGMs. Via a sequential decomposition of the PGM we find a sequence of auxiliary distributions defined on a monotonically increasing sequence of probability spaces. By targeting these auxiliary distributions using purpose built SMC samplers we are able to approximate the full joint distribution defined by the graphical model. Our SMC sampler also provides an unbiased estimate of the partition function (normalization constant) and we show how it can be used within a particle Markov chain Monte Carlo framework. This allows for better approximations of the marginals and for unknown parameters to be estimated. The proposed inference algorithms can deal with an arbitrary graph structure and the domain of the random variables in the graph can be discrete or continuous.

연구 동기 및 목표

• 해석적으로 해를 갖지 않는 일반적인 목적의 확률적 그래픽 모델 추론 방법을 개발하기 위해.
• 모델 비교 및 학습에 핵심적인 분할 함수에 대한 편향 없는 추정치를 가능하게 하기 위해.
• 임의의 그래프 구조와 혼합된 이산-연속 변수를 가진 모델에서의 추론을 지원하기 위해.
• 개선된 주변 확률 추정 및 매개변수 추정을 위해 입자 마르코프 체인 몬테카를로와 통합하기 위해.

제안 방법

• 이 방법은 PGM를 확률 공간이 점차 증가하는 보조 분포의 순서로 순차적으로 분해한다.
• 이들은 목적에 맞는 SMC 샘플러를 사용하여 이러한 보조 분포를 타겟으로 하여 점차 전체 결합 분포를 근사한다.
• 알고리즘은 입자 가중치를 유지하여 정규화 상수(분할 함수)의 편향 없는 추정치를 가능하게 한다.
• 분할 함수 추정치는 후행 확률 및 주변 확률 추정의 정확도를 향상시키기 위해 입자 마르코프 체인 몬테카를로 프레임워크에 통합된다.
• 이 방법은 이산 및 연속 랜덤 변수를 모두 처리할 수 있으며, 임의의 PGM 구조에 적용 가능하다.

실험 결과

연구 질문

• RQ1 임의의 구조를 가진 일반적인 확률적 그래픽 모델에 대해 SMC 방법을 효과적으로 적용할 수 있는가?
• RQ2 PGMs의 SMC 프레임워크 내에서 분할 함수에 대한 편향 없는 추정치를 효율적으로 계산할 수 있는가?
• RQ3 SMC 추론을 입자 MCMC와 어떻게 통합하여 주변 확률 및 매개변수 추정치를 향상시킬 수 있는가?
• RQ4 제안된 방법이 PGMs에서 혼합된 이산-연속 변수 도메인을 어느 정도 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 SMC 알고리즘은 분할 함수에 대한 편향 없는 추정치를 제공하여 엄밀한 모델 비교 및 학습을 가능하게 한다.
• 이 방법은 복잡하고 이질적인 의존성까지 포함한 임의의 그래프 구조를 가진 PGMs에서의 추론을 지원한다.
• 입자 MCMC와의 통합은 후행 주변 확률의 정확도를 향상시키며, 알려지지 않은 모델 매개변수의 추정을 가능하게 한다.
• 이 방법은 이산 및 연속 랜덤 변수 모두에 적용 가능하여 광범위한 모델 호환성을 확보한다.