[논문 리뷰] Blang: Bayesian declarative modelling of arbitrary data structures

Alexandre Bouchard‐Côté, Kevin Chern외 6명|arXiv (Cornell University)|2019. 12. 22.

Bayesian Methods and Mixture Models인용 수 5

한 줄 요약

Blang는 그래프, 트리, 시퀀스와 같은 임의의 데이터 구조에서 베이지안 추론을 가능하게 하는 도메인 특화 언어 및 라이브러리이며, 선언적이고 BUGS 유사한 문법을 사용한다. 사용자 정의 데이터 유형을 지원하며, 복잡한 비유클리드 상태 공간에서 효율적인 추론을 위해 확장 가능하고 병렬 처리가 가능한 비가역 MCMC 방법을 활용한다.

ABSTRACT

Consider a Bayesian inference problem where a variable of interest does not take values in a Euclidean space. These non-standard data structures are in reality fairly common. They are frequently used in problems involving latent discrete factor models, networks, and domain specific problems such as sequence alignments and reconstructions, pedigrees, and phylogenies. In principle, Bayesian inference should be particularly well-suited in such scenarios, as the Bayesian paradigm provides a principled way to obtain confidence assessment for random variables of any type. However, much of the recent work on making Bayesian analysis more accessible and computationally efficient has focused on inference in Euclidean spaces. In this paper, we introduce Blang, a domain specific language (DSL) and library aimed at bridging this gap. Blang allows users to perform Bayesian analysis on arbitrary data types while using a declarative syntax similar to BUGS. Blang is augmented with intuitive language additions to invent data types of the user's choosing. To perform inference at scale on such arbitrary state spaces, Blang leverages recent advances in parallelizable, non-reversible Markov chain Monte Carlo methods.

연구 동기 및 목표

• 네트워크, 시퀀스, 계통도와 같은 비유클리드 상태 공간을 갖는 임의의 데이터 구조에 대한 베이지안 추론 지원의 부족을 해결한다.
• 표준 유클리드 공간 방법에 적합하지 않은 복잡한 데이터 유형에 대한 원칙적인 베이지안 모델링과 실용적 추론 사이의 격차를 메운다.
• 임의의 데이터 구조 위에서 확률 모델을 지정하기 위한 사용자 友好的이고 선언적인 인터페이스를 제공하며, BUGS와 유사하다.
• 고차원적이고 비표준 상태 공간에서의 추론을 확장 가능한 MCMC 기법 통합을 통해 스케일링한다.

제안 방법

• 임의의 데이터 유형 위에서 확률적 관계를 모델링하기 위해 BUGS를 영감으로 삼은 선언적 문법을 가진 도메인 특화 언어(DSL)인 Blang을 도입한다.
• 직관적인 언어 확장을 통해 사용자가 커스텀 데이터 유형을 정의할 수 있도록 하여 트리, 정렬, 그래프와 같은 복잡한 구조의 표현을 가능하게 한다.
• 대규모 비유클리드 상태 공간에서의 추론을 스케일링하기 위해 비가역적이고 병렬 처리 가능한 마르코프 체인 몬테카를로(MCMC) 알고리즘을 활용한다.
• 잠재 이산 요인 모델, 네트워크 구조, 계통수 재구성 및 시퀀스 정렬과 같은 도메인 특화 문제에 대한 추론을 지원한다.
• 모델 명세와 추론 구현을 분리하여 다양한 데이터 유형에 대해 모듈러하고 확장 가능한 설계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 베이지안 모델링을 그래프나 시퀀스와 같은 임의의 비유클리드 데이터 구조로 효과적으로 확장할 수 있는가?
• RQ2 선언적 모델링 언어가 복잡한 사용자 정의 데이터 유형을 지원하면서도 계산적 스케일링을 유지할 수 있는 정도는 어느 정도인가?
• RQ3 비가역적이고 병렬 처리 가능한 MCMC 방법이 실제로 고차원적이고 비표준 상태 공간에서 효율적인 추론을 가능하게 할 수 있는가?
• RQ4 Blang의 접근 방식은 계통도나 계통수와 같은 복잡한 데이터 구조를 모델링하고 추론하는 데 있어 기존 도구와 비교해 어떻게 다를까?

주요 결과

• Blang는 계통도, 시퀀스, 네트워크와 같은 복잡한 구조를 포함해 임의의 데이터 유형에서 베이지안 추론을 성공적으로 가능하게 한다.
• Blang의 선언적 문법 덕분에 비유클리드 데이터 위에서 모델을 지정할 때 최소한의 부가 코드를 필요로 하여 모델의 표현력과 가독성을 향상시킨다.
• 비가역 MCMC 방법의 통합 덕분에 복잡하고 고차원적 상태 공간에서 확장 가능하고 효율적인 샘플링이 가능해졌다.
• 언어는 확장 가능한 데이터 유형 정의를 지원하여 사용자가 시퀀스 정렬이나 계통도 관계와 같은 도메인 특화 구조를 모델링할 수 있도록 한다.