[논문 리뷰] Graphical model inference: Sequential Monte Carlo meets deterministic approximations

Fredrik Lindsten, Jouni Helske외 1명|arXiv (Cornell University)|2019. 01. 08.

Bayesian Modeling and Causal Inference인용 수 9

한 줄 요약

이 논문은 확률적 그래픽 모델을 위한 순차적 몬테카를로(SMC) 알고리즘을 제안하며, 루프 없는 신뢰도 전파(LBP), 기대값 전파(EP), 라플라스 근사와 같은 결정론적 추론 방법을 SMC에 통합한다. 이러한 방법들을 사용해 효율적인 트위스팅 함수를 구성함으로써, 이들의 본질적 편향을 보정하면서도 SMC의 渐近적 일致성과 비편향 정규화 상수 추정을 유지한다. 그 결과, 기준 결정론적 방법과 표준 SMC보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Approximate inference in probabilistic graphical models (PGMs) can be grouped into deterministic methods and Monte-Carlo-based methods. The former can often provide accurate and rapid inferences, but are typically associated with biases that are hard to quantify. The latter enjoy asymptotic consistency, but can suffer from high computational costs. In this paper we present a way of bridging the gap between deterministic and stochastic inference. Specifically, we suggest an efficient sequential Monte Carlo (SMC) algorithm for PGMs which can leverage the output from deterministic inference methods. While generally applicable, we show explicitly how this can be done with loopy belief propagation, expectation propagation, and Laplace approximations. The resulting algorithm can be viewed as a post-correction of the biases associated with these methods and, indeed, numerical results show clear improvements over the baseline deterministic methods as well as over "plain" SMC.

연구 동기 및 목표

• 확률적 그래픽 모델에서 결정론적 추론과 몬테카를로 추론 사이의 격차를 메우기 위해.
• 결정론적 근사법을 트위스팅 함수로 활용하여 SMC 추론의 효율성과 정확도를 향상시키기 위해.
• 정확한 추론이 필요 없이도 결정론적 방법의 편향을 후행 보정할 수 있도록 하여 渐近적 일치성을 유지하기 위해.
• 연속적, 비정규분포형, 복잡한 그래픽 모델에 일반적으로 적용 가능한 프레임워크를 제공하기 위해.
• 가짜 마진 MCMC 또는 입자 MCMC와 같은 고급 추론 파ip라인과의 통합을 지원하기 위해.

제안 방법

• SMC를 위한 순차적 그래프 분해를 통해 인위적 타겟 분포의 시퀀스를 도입한다.
• 미래 변수에 대한 의존성을 반영하기 위해 트위스팅 함수를 SMC 타겟에 적용함으로써 제안 분포의 품질을 향상시킨다.
• 트위스팅 함수는 라플라스 근사, 기대값 전파, 루프 없는 신뢰도 전파와 같은 결정론적 추론 방법의 출력을 사용하여 구성된다.
• 트위스팅 함수는 최적은 아니지만 효율적이며, 정확한 추론이 필요 없음을 보장한다.
• 정확한 트위스팅 함수를 사용하지 않더라도, SMC 알고리즘이 비편향 정규화 상수 추정과 渐近적 일치성을 유지한다.
• 이 프레임워크는 기존의 결정론적 추론 도구를 더 정확한 SMC 추론의 구성 요소로 재사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 결정론적 추론 방법을 그래픽 모델에서 SMC의 효율성을 높이기 위해 효과적으로 재사용할 수 있는가?
• RQ2 정확한 추론이 필요 없이 트위스팅 함수를 효율적으로 구성할 수 있는가?
• RQ3 결정론적 근사법과 SMC를 조합하면, 각각의 방법보다 더 높은 정확도와 수렴 속도를 달성할 수 있는가?
• RQ4 정확한 트위스팅 함수를 사용하지 않는 SMC를 통해 결정론적 방법의 편향을 어느 정도 보정할 수 있는가?
• RQ5 결과로 도출된 알고리즘은 가짜 마진 MCMC와 같은 다른 추론 기법의 플러그인 후행 보정으로 사용될 수 있는가?

주요 결과

• 결정론적 기반 트위스팅 함수를 사용하는 제안된 SMC 알고리즘은 정확도와 수렴 속도 측면에서 표준 SMC 및 기준 결정론적 방법보다 뚜렷이 뛰어나다.
• 수치 결과는 루프 없는 신뢰도 전파, 기대값 전파, 라플라스 근사만을 사용한 경우에 비해 명확한 향상을 보여준다.
• 비편향 정규화 상수 추정을 유지하여, 정확한 트위스팅 함수를 사용하지 않더라도 이론적 신뢰성을 확보한다.
• 결정론적 방법에서 유도된 트위스팅 함수는 SMC에서 유효 표본 크기 손실를 크게 감소시켜 샘플링 효율성을 향상시킨다.
• 프레임워크는 강건하고 일반화 가능하여, 기존의 추론 도구 및 고급 MCMC 기법과의 통합을 가능하게 한다.