[논문 리뷰] Biips: Software for Bayesian Inference with Interacting Particle Systems

Adrien Todeschini, François Caron외 3명|arXiv (Cornell University)|2014. 12. 11.

Gaussian Processes and Bayesian Inference참고 문헌 7인용 수 16

한 줄 요약

Biips는 상호작용 입자 시스템을 사용하여 자동 추론을 가능하게 하는 베이지안 추론 소프트웨어 플랫폼이며, BUGS 확률 프로그래밍 언어를 네이티브로 지원합니다. 이 소프트웨어는 후행 분포 근사 및 우도의 주변 확률 추정을 위한 블랙박스 순차 몬테카를로(SMC) 알고리즘—예를 들어 입자 필터 및 입자 MCMC—을 제공하며, R, MATLAB, Octave와의 인터페이스를 제공합니다.

ABSTRACT

Biips is a software platform for automatic Bayesian inference with interacting particle systems. Biips allows users to define their statistical model in the probabilistic programming BUGS language, as well as to add custom functions or samplers within this language. Then it runs sequential Monte Carlo based algorithms (particle filters, particle independent Metropolis-Hastings, particle marginal Metropolis-Hastings) in a black-box manner so that to approximate the posterior distribution of interest as well as the marginal likelihood. The software is developed in C++ with interfaces with the softwares R, Matlab and Octave.

연구 동기 및 목표

• 상호작용 입자 시스템을 사용한 베이지안 추론을 위한 유연하고 사용자 친화적인 소프트웨어 플랫폼을 개발하는 것.
• 순차 몬테카를로(SMC) 추론 기능을 BUGS 언어 생태계에 확장하여 자동 후행 분포 근사 및 주변 우도 추정을 가능하게 하는 것.
• 사용자 정의 분포 및 샘플러를 지원하면서도 기존 확률 프로그래밍 워크플로우와의 호환성을 유지하는 블랙박스 추론 엔진을 제공하는 것.
• 넓은 접근성과 기존 데이터 분석 파이프라인에의 통합을 위해 R, MATLAB, Octave와의 효율적인 인터페이스를 제공하는 것.
• 불가항력적인 조건부 분포나 동적 또는 고차원 상태공간을 가진 복잡한 모델을 입자 기반 방법을 통해 지원하는 것.

제안 방법

• 모델은 조건부 분포를 정의할 수 있는 선언적 BUGS 언어를 사용하여 기술됩니다.
• 소프트웨어는 런타임에 모델을 그래픽 구조로 컴파일하고, 추론을 위해 노드 인스턴스를 동적으로 할당합니다.
• 후행 분포 근사를 위해 순차 몬테카를로(SMC) 알고리즘—예를 들어 프론트워드 SMC, 프론트워드-백워드 SMC, 입자 독립 메트로폴리스-해스팅스, 입자 주변 메트로폴리스-해스팅스—을 사용합니다.
• SMC 방법은 추가적인 계산 비용 없이도 주변 우도의 비편향 추정치를 제공하며, 이는 MCMC 대비 핵심적인 이점입니다.
• R, MATLAB, 또는 Octave에서 작성된 사용자 정의 함수 및 샘플러를 BUGS 모델 라이브러리에 통합할 수 있습니다.
• 성능을 위해 C++로 구현된 핵심 엔진과, 사용 편의성을 위한 R, MATLAB, Octave와의 고수준 인터페이스를 제공합니다.

실험 결과

연구 질문

• RQ1 BUGS 호환 소프트웨어 플랫폼은 베이지안 추론을 위한 순차 몬테카를로 방법을 효과적으로 지원할 수 있는가?
• RQ2 입자 기반 추론은 BUGS와 같은 고수준 확률 프로그래밍 언어를 통해 어떻게 접근 가능하게 할 수 있는가?
• RQ3 사용자 정의 분포 및 샘플러를 지원하는 블랙박스 프레임워크에 SMC 방법을 통합할 수 있는가, 이는 깊은 알고리즘 지식 없이도 가능한가?
• RQ4 Biips의 SMC 기반 추론과 전통적인 MCMC 기반 도구인 JAGS 사이의 성능 상충 관계는 어떠한가?
• RQ5 입자 방법은 불가항력적인 조건부 분포 또는 복잡한 상태공간 구조를 가진 모델을 어느 정도 지원할 수 있는가?

주요 결과

• Biips는 BUGS 언어를 사용한 SMC 기반 베이지안 추론을 위한 블랙박스 추론 엔진을 성공적으로 구현하여, 사용자가 저수준 알고리즘을 작성하지 않고도 모델을 정의할 수 있도록 했습니다.
• 추가 계산 비용 없이도 주변 우도의 비편향 추정치를 제공하며, 이는 MCMC 방법 대비 뚜렷한 이점입니다.
• R, MATLAB, 또는 Octave에서 작성된 사용자 정의 함수 및 샘플러를 모델에 원활하게 통합할 수 있어 유연성과 확장성 향상이 가능합니다.
• Biips는 입자 주변 메트로폴리스-해스팅스를 포함한 다양한 SMC 알고리즘을 지원하여 상태공간 모델 및 계층 모델과 같은 복잡한 모델에 적합합니다.
• JAGS와 같은 성숙한 MCMC 도구보다는 실행 시간이 더 오래 걸리지만, 동적 또는 고상관도가 있는 환경에서 SMC가 MCMC를 능가하는 모델에는 Biips가 실용적인 대안이 될 수 있습니다.
• 향후 Biips 버전은 입자 알고리즘의 본질적 병렬성에 기반해 병렬 처리를 활용하여 성능 향상을 도모할 계획입니다.