[論文レビュー] Blang: Bayesian declarative modelling of general data structures and inference via algorithms based on distribution continua

Alexandre Bouchard‐Côté, Kevin Chern+6 more|arXiv (Cornell University)|Dec 22, 2019

Bayesian Methods and Mixture Models参考文献 8被引用数 4

ひとこと要約

Blang は、組合せオブジェクト、系統発生木、アラインメントなど、任意の非標準的データ構造の宣言的モデリングを可能にするベイジアン確率的プログラミング言語である。BUGSに類似した構文を用い、分布連続体と動的サンプラー構成の活用により、非可逆MCMCや逐次測度変更法を含むスケーラブルなモンテカルロ法を自動化し、手動によるアルゴリズムチューニングなしに複雑な状態空間でも高いパフォーマンスを達成する。

ABSTRACT

Consider a Bayesian inference problem where a variable of interest does not take values in a Euclidean space. These "non-standard" data structures are in reality fairly common. They are frequently used in problems involving latent discrete factor models, networks, and domain specific problems such as sequence alignments and reconstructions, pedigrees, and phylogenies. In principle, Bayesian inference should be particularly well-suited in such scenarios, as the Bayesian paradigm provides a principled way to obtain confidence assessment for random variables of any type. However, much of the recent work on making Bayesian analysis more accessible and computationally efficient has focused on inference in Euclidean spaces. In this paper, we introduce Blang, a domain specific language and library aimed at bridging this gap. Blang allows users to perform Bayesian analysis on arbitrary data types while using a declarative syntax similar to BUGS. Blang is augmented with intuitive language additions to create data types of the user's choosing. To perform inference at scale on such arbitrary state spaces, Blang leverages recent advances in sequential Monte Carlo and non-reversible Markov chain Monte Carlo methods.

研究の動機と目的

• 系統発生木、アラインメント、ネットワークなど、非ユークリッド的で組合せ的なデータ構造に対するベイジアン推論ツールの欠落を埋める。
• 低レベルのサンプリングの複雑さを抽象化することで、任意の状態空間におけるベイジアンモデルの開発とデプロイメントを簡素化する。
• 高度なモンテカルロアルゴリズムの統合を自動化することにより、複雑なモデルにおけるスケーラブルで高パフォーマンスな推論を実現する。
• 完全なソフトウェアスタック（IDEサポートと依存関係管理を含む）を通じて、再現可能でモジュラーかつ合成可能なモデル開発を支援する。
• 非可逆MCMCやSMCなどの高度なサンプリング方式を高水準なモデリング言語に直接埋め込むことで、高性能推論へのアクセスを民主化する。

提案手法

• Blang は Xtext を基盤として構築されたドメイン固有言語を用い、任意のデータ型における確率的モデルを宣言的かつBUGSに類似した構文で指定する。
• 実行時におけるMCMCサンプラーの動的でリフレクションベースの発見と構成を可能にする、@Samplers や @ConnectedFactor などの注釈を備えた型システムを導入する。
• 事前分布と事後分布の間の確率分布の補間族（分布連続体）を自動的に構築することで、非可逆MCMCや逐次測度変更法（SCM）の効率的かつスケーラブルな実装を可能にする。
• モデル構造とデータ型に基づいて自動的に適用される、並列化された適応的推論スキーム（並列温度法、非可逆MCMCなど）を活用する。
• サンプラーのモジュラーなレジストリを介した自動推論パイプライン構築を支援し、潜在変数の型と関連要因に基づいてサンプラーが選択・インスタンス化される。
• 静的型付け、ジャストインタイムコンパイル、テスト、プロファイリング、バージョン管理などの標準的なソフトウェア工学手法との統合を含む、包括的なIDEサポートにより、モデル開発を強化する。

実験結果

リサーチクエスチョン

• RQ1 組合せオブジェクト や離散的グラフなどの任意の非標準的データ構造における、効率的かつスケーラブルなベイジアン推論をどのように実現できるか？
• RQ2 手動によるアルゴリズムチューニングを必要とせず、宣言的モデリング言語が高性能なMCMCおよびSMCサンプラーの選択と構成を自動化できるか？
• RQ3 分布連続体を用いることで、確率的モデリングにおける多様な状態空間にわたる推論をどれほど統一的かつ高速化できるか？
• RQ4 完全なIDEサポートとモジュラーな依存関係管理を備えた現代的なソフトウェアスタックは、実際のベイジアンモデリングにおける使いやすさと再現可能性をどの程度向上できるか？
• RQ5 非可逆MCMC や逐次測度変更法（SCM）などの高度なモンテカルロ法を、パフォーマンスや表現力の損なわれない高水準言語に抽象化できるか？

主な発見

• Blang は、単体、整数、組合せオブジェクトなどの複雑で非標準的なデータ構造に対して、宣言的かつ高水準な構文を用いてベイジアン推論を実現した。
• モデルの注釈と要因グラフ構造に基づいて、システムが自動的にサンプラーを構築・構成するため、各モデルタイプに対して手動でサンプラーを実装する必要がなくなる。
• 分布連続体の活用により、非可逆MCMC および逐次測度変更法（SCM）の効率的かつスケーラブルな推論が可能となり、並列アーキテクチャでも良好にスケーリングする。
• モデル構造とデータ型に応じて適応的かつ特化されたサンプラーを自動的に活用することで、系統発生木や配列アラインメントを含むベンチマークモデルにおいても、ユーザーの介入なしに高いパフォーマンスを達成した。
• 静的型付け、デバッグ、プロファイリング、依存関係管理などのソフトウェア工学ツールの統合により、モデルの保守性と再現性が著しく向上した。
• 例のパイプラインで自動的に 2 個のサンプラー（RealSliceSampler と IntSliceSampler）が構築されたことから、高度なモンテカルロ推論が高水準言語に抽象化されつつも、計算効率を保持できることを実証した。