[논문 리뷰] Blang: Bayesian declarative modelling of general data structures and inference via algorithms based on distribution continua

Alexandre Bouchard‐Côté, Kevin Chern외 6명|arXiv (Cornell University)|2019. 12. 22.

Bayesian Methods and Mixture Models참고 문헌 8인용 수 4

한 줄 요약

Blang는 조합적 객체, 계통수, 정렬 등 비표준 데이터 구조를 BUGS 유사 문법을 사용해 선언적으로 모델링할 수 있는 베이지안 확률 프로그래밍 언어이다. 이는 분포 연속체와 동적 샘플러 조합을 활용하여 스케일링 가능한 몬테카를로 방법, 예를 들어 비가역 MCMC와 순차적 측도 변화를 통해 추론을 자동화하며, 수동 알고리즘 튜닝 없이도 복잡한 상태 공간에서 높은 성능을 달성한다.

ABSTRACT

Consider a Bayesian inference problem where a variable of interest does not take values in a Euclidean space. These "non-standard" data structures are in reality fairly common. They are frequently used in problems involving latent discrete factor models, networks, and domain specific problems such as sequence alignments and reconstructions, pedigrees, and phylogenies. In principle, Bayesian inference should be particularly well-suited in such scenarios, as the Bayesian paradigm provides a principled way to obtain confidence assessment for random variables of any type. However, much of the recent work on making Bayesian analysis more accessible and computationally efficient has focused on inference in Euclidean spaces. In this paper, we introduce Blang, a domain specific language and library aimed at bridging this gap. Blang allows users to perform Bayesian analysis on arbitrary data types while using a declarative syntax similar to BUGS. Blang is augmented with intuitive language additions to create data types of the user's choosing. To perform inference at scale on such arbitrary state spaces, Blang leverages recent advances in sequential Monte Carlo and non-reversible Markov chain Monte Carlo methods.

연구 동기 및 목표

• 계통수, 정렬, 네트워크와 같은 비유클리드적이고 조합적 데이터 구조를 위한 베이지안 추론 도구의 격차를 메우기 위해.
• 낮은 수준의 샘플링 복잡성을 추상화하여 임의의 상태 공간에서 베이지안 모델의 개발과 구현을 단순화하기 위해.
• 고급 몬테카를로 알고리즘의 통합을 자동화하여 복잡한 모델에서 스케일링 가능하고 고성능의 추론을 가능하게 하기 위해.
• 완전한 소프트웨어 스택(IDE 지원 및 종속성 관리 포함)을 통해 재현 가능하고 모듈화되며 조합 가능한 모델 개발을 지원하기 위해.
• 비가역 MCMC, SMC 등 고도화된 샘플링 기법을 고수준 모델링 언어에 직접 통합함으로써 고성능 추론에 대한 접근성을 넓히기 위해.

제안 방법

• Blang는 Xtext 기반의 도메인 특화 언어를 사용하여 임의의 데이터 유형에 대한 확률 모델을 선언적이고 BUGS 유사 문법으로 지정한다.
• 런타임 시 동적이고 반사 기반의 MCMC 샘플러 발견 및 조합을 가능하게 하는 @Samplers 및 @ConnectedFactor 등의 어노테이션을 포함한 타입 체계를 도입한다.
• 프리오르와 포스트리어어 사이의 확률 분포의 보간 가족(분포 연속체)을 자동으로 구성함으로써 비가역 MCMC와 순차적 측도 변화(Sequential Change of Measure, SCM) 알고리즘을 효율적으로 실행할 수 있도록 한다.
• 모델 구조와 데이터 유형에 기반해 자동으로 적용되는 적응형이고 병렬화된 추론 기법(예: 병렬 온도 조절, 비가역 MCMC)을 활용한다.
• 샘플러 레지스트리 기반의 모듈러한 추론 파이프라인 구축을 지원하며, 잠재 변수의 유형과 연결된 요소에 따라 샘플러가 선택되고 인스턴스화된다.
• 정적 타이핑, 즉시 컴파일, 테스트, 프로파일링, 버전 제어와 같은 표준 소프트웨어 엔지니어링 관행과의 통합을 통해 IDE 지원 기능을 통해 모델 개발을 강화한다.

실험 결과

연구 질문

• RQ1 조합적 객체나 이산 그래프와 같은 임의의 비표준 데이터 구조에서 베이지안 추론을 효율적이고 스케일링 가능한 방식으로 수행할 수 있는가?
• RQ2 선언적 모델링 언어가 수동 알고리즘 튜닝 없이도 고성능 MCMC 및 SMC 샘플러의 선택과 조합을 자동화할 수 있는가?
• RQ3 분포 연속체를 얼마나 넓게 활용하여 다양한 상태 공간에서 확률 모델링의 추론을 통합하고 가속화할 수 있는가?
• RQ4 완전한 IDE 지원과 모듈러한 종속성 관리 기능을 갖춘 현대적인 소프트웨어 스택은 실무에서 베이지안 모델링의 사용성과 재현 가능성을 얼마나 향상시킬 수 있는가?
• RQ5 비가역 MCMC와 순차적 측도 변화와 같은 고급 몬테카를로 방법을 성능나 표현력에 손실 없이 고수준 언어에 추상화할 수 있는가?

주요 결과

• Blang는 선언적 고수준 문법을 사용해 단체, 정수, 조합적 객체와 같은 복잡한 비표준 데이터 구조에서 베이지안 추론을 성공적으로 가능하게 한다.
• 모델 어노테이션과 요소 그래프 구조에 기반해 시스템이 자동으로 샘플러를 구성하고 조합함으로써, 각 모델 유형에 대해 수동으로 샘플러를 구현할 필요가 없어진다.
• 분포 연속체의 사용으로 비가역 MCMC와 순차적 측도 변화(Sequential Change of Measure, SCM) 추론이 효율적으로 수행되며, 병렬 아키텍처에서 잘 스케일링된다.
• 사용자 개입 없이도 적응형 전용 샘플러를 활용하여 계통수 트리와 서열 정렬을 포함한 벤치마크 모델에서 높은 성능을 달성한다.
• 정적 타이핑, 디버깅, 프로파일링, 종속성 관리와 같은 완전한 소프트웨어 엔지니어링 툴링 통합은 모델의 유지보수성과 재현 가능성에 크게 기여한다.
• 예시 파이프라인에서 2개의 샘플러(RealSliceSampler와 IntSliceSampler)가 자동으로 구성된 것으로 나타나, 고성능 추론이 고수준 언어에 추상화될 수 있음을 입증한다.