[논문 리뷰] Variational Particle Approximations

Ardavan Saeedi, Tejas D. Kulkarni외 2명|arXiv (Cornell University)|2014. 02. 24.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 11

한 줄 요약

이 논문은 KL 발산을 최소화하기 위해 최적의 입자를 선택하는 결정론적, 입자 기반의 변분 추론 방법인 이산 입자 변분 추론(DPVI)을 소개한다. 이는 몬테카를로, 변분 추론, 검색 기반 방법의 장점을 융합한 것으로, 더 적은 입자 수로도 뛰어난 정확도를 달성하고, 부패를 방지하며, 이중 다중모달 및 구조적 모델(예: 이징 모델, HMM)에서 입자 필터링, MCMC, 평균장 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Approximate inference in high-dimensional, discrete probabilistic models is a central problem in computational statistics and machine learning. This paper describes discrete particle variational inference (DPVI), a new approach that combines key strengths of Monte Carlo, variational and search-based techniques. DPVI is based on a novel family of particle-based variational approximations that can be fit using simple, fast, deterministic search techniques. Like Monte Carlo, DPVI can handle multiple modes, and yields exact results in a well-defined limit. Like unstructured mean-field, DPVI is based on optimizing a lower bound on the partition function; when this quantity is not of intrinsic interest, it facilitates convergence assessment and debugging. Like both Monte Carlo and combinatorial search, DPVI can take advantage of factorization, sequential structure, and custom search operators. This paper defines DPVI particle-based approximation family and partition function lower bounds, along with the sequential DPVI and local DPVI algorithm templates for optimizing them. DPVI is illustrated and evaluated via experiments on lattice Markov Random Fields, nonparametric Bayesian mixtures and block-models, and parametric as well as non-parametric hidden Markov models. Results include applications to real-world spike-sorting and relational modeling problems, and show that DPVI can offer appealing time/accuracy trade-offs as compared to multiple alternatives.

연구 동기 및 목표

• 고차원, 다중모달 이산 모델에서 몬테카를로 및 변분 방법의 한계를 해결하기 위해.
• 입자 부패를 방지하고 몬테카를로 분산을 줄이는 입자 기반의 변분 근사법을 개발하기 위해.
• 몬테카를로의 유연성과 변분 추론의 수렴 보장 및 효율성의 장점을 융합하기 위해.
• 마르코프 네트워크 및 은닉 마르코프 모델과 같은 복잡한 구조를 가진 모델에서 효과적인 추론을 가능하게 하기 위해.
• 입자 필터링에서의 확률적 재표본화에 대한 결정론적 대안을 제공하여 입자 다양성과 고확률 상태를 유지하기 위해.

제안 방법

• DPVI는 진정한 사후분포와의 KL 발산을 최소화하는 입자 기반 변분 근사의 가족을 수립한다.
• 로그 분할 함수의 하한을 최적화함으로써 입자 배치를 반복적으로 개선하기 위해 좌표 상승 업데이트를 사용한다.
• 단일 모드로 붕괴되지 않도록 고확률 영역을 커버하는 입자를 결정론적 탐색을 통해 선택한다.
• 그래프 모델의 인수 분해 및 순차적 구조를 활용하여 대규모 모델로의 효율적 확장을 도모한다.
• 사용자 정의 검색 연산자를 지원하며, 순차적 또는 국소 최적화 템플릿을 통해 적용될 수 있다.
• 기존 입자 필터링과 달리 재가중치화나 재표본화가 필요 없어, 제안 밀도에 대한 의존도를 줄이고 분산을 감소시킨다.

실험 결과

연구 질문

• RQ1 다중모달 이산 분포에서 확률적 표본 추출보다 결정론적 입자 선택 전략이 우월한가?
• RQ2 구조적 모델에서 DPVI는 정확도와 수렴 측면에서 평균장 변분 추론 및 입자 필터링보다 어떻게 비교되는가?
• RQ3 기존 입자 필터링과 달리 재표본화 없이도 DPVI는 입자 다양성과 부패를 방지할 수 있는가?
• RQ4 몬테카를로 방법보다 더 적은 입자 수로 DPVI가 얼마나 정확도를 높일 수 있는가?
• RQ5 비모수 베이지안 혼합 및 은닉 마르코프 모델과 같은 복잡한 모델로 DPVI가 얼마나 잘 확장되는가?

주요 결과

• 무한한 입자를 가진 극한에서 DPVI는 몬테카를로 방법의 이론적 수렴과 정확히 일치하는 정확한 결과를 달성했다.
• 이징 모델에서 DPVI는 단 두 개의 입자로도 두 모드를 완벽하게 포착했고, 평균장 및 루프 belief propagation는 실패했다.
• 이징 모델에서 DPVI는 특히 고결합 강도에서 평균장보다 로그 분할 함수 하한의 측면에서 일관되게 더 우수한 성능을 보였다.
• 스파이크 정렬 및 관계 모델링 작업에서 DPVI는 여러 대안들과 비교해 유리한 시간/정확도 트레이드오프를 제공했다.
• 재표본화 임계치를 정밀 조정할 필요 없이 입자 부패를 방지하고 고확률 상태를 유지하는 다양한 입자를 유지했다.
• 비모수 모델을 포함한 다양한 모수 모델, 래티스 MRF 및 블록 모델 등에서 일관된 수렴과 낮은 분산을 보이며 견고한 성능을 보였다.