[論文レビュー] DNest4: Diffusive Nested Sampling in C++ and Python

Brendon J. Brewer, Daniel Foreman-Mackey|arXiv (Cornell University)|Jun 12, 2016

Bayesian Methods and Mixture Models参考文献 24被引用数 8

ひとこと要約

DNest4は、複雑で多次元的、もしくは複数モードを持つ問題におけるベイズ推論、周辺尤度推定、事後分布サンプリングを効率的に行うために設計された、オープンソースでマルチスレッド対応のC++11およびPython実装である。Diffusive Nested Sampling（DNS）アルゴリズムの実装であり、制約付き事前分布の混合と適応的MCMC移動を用いることで、サンプリング効率を向上させ、尤度推定による堅牢なモデル比較を可能にしている。

ABSTRACT

In probabilistic (Bayesian) inferences, we typically want to compute properties of the posterior distribution, describing knowledge of unknown quantities in the context of a particular dataset and the assumed prior information. The marginal likelihood, also known as the "evidence", is a key quantity in Bayesian model selection. The Diffusive Nested Sampling algorithm, a variant of Nested Sampling, is a powerful tool for generating posterior samples and estimating marginal likelihoods. It is effective at solving complex problems including many where the posterior distribution is multimodal or has strong dependencies between variables. DNest4 is an open source (MIT licensed), multi-threaded implementation of this algorithm in C++11, along with associated utilities including: i) RJObject, a class template for finite mixture models, (ii) A Python package allowing basic use without C++ coding, and iii) Experimental support for models implemented in Julia. In this paper we demonstrate DNest4 usage through examples including simple Bayesian data analysis, finite mixture models, and Approximate Bayesian Computation.

研究の動機と目的

• ベイズ推論に適したスケーラブルで効率的かつアクセス可能なDiiffusive Nested Sampling（DNS）の実装を提供すること。
• 標準的なMCMCが失敗するような、多次元的で複数モードを持つ事後分布や強いパrameter依存性の問題に対処すること。
• 正確な周辺尤度（証拠）推定を通じて、モデル選択を支援すること。
• PythonおよびC++とのシームレスな統合を可能にし、柔軟なモデル定義と高性能計算を実現すること。
• より広範な科学的応用を実現するため、Approximate Bayesian Computation（ABC）およびJuliaのようなハイブリッド言語への対応を拡張すること。

提案手法

• 各成分が尤度のしきい値に対応する制約付き事前分布の混合を用いて事後分布を表現する。
• 適応的提案分布を備えた修正されたメトロポリス・ハスティングスMCMCアルゴリズムを採用し、パラメータ空間を効率的に探索する。
• 二段階のサンプリングプロセスを導入する：まず、尤度が高い領域を優遇するために指数関数的に増加する重みで粒子を初期化する。次に、安定な証拠推定のため、重みを均一化する。
• 動的レベル選択戦略を実装し、尤度のしきい値を幾何級数的に増加させ、各反復で事前分布質量を約e−1/Nの要因で圧縮する。
• C++およびPythonインタフェースをサポートしており、PythonバインディングによりNumPy配列と動的関数呼び出しを用いたモデル定義が可能である。
• 実験的Julia対応と、有限混合モデル向けのRJObjectなどのユーティリティを備え、拡張性を高めている。

実験結果

リサーチクエスチョン

• RQ1 C++11およびPythonでDiiffusive Nested Samplingをどのように効率的に実装できるか。特に、複雑で多次元的、もしくは複数モードを持つ事後分布を扱えるか。
• RQ2 高次元空間や強い相関を持つパrameter空間において、標準的なネストドサンプリングやMCMCと比較して、DNSが示す性能および精度の優位性は何か。
• RQ3 尤度がノイズが多くて不確実、もしくは解析的に求められないような場合に、DNSはApproximate Bayesian Computation（ABC）に効果的に適用できるか。
• RQ4 直接的な事後分布サンプリングと比較して、制約付き事前分布の混合を用いることで、サンプリング効率と証拠推定がどのように向上するか。
• RQ5 DNest4は、Juliaのような他の言語で書かれたモデルに対しても、どの程度拡張可能か。

主な発見

• DNest4は、標準的なMCMC手法が失敗するような複数モードや高次元の問題においても、周辺尤度を高い精度で推定できることを確認した。
• 有限混合モデルやABC応用を含む多様なモデルにおいて、安定的かつ効率的な事後分布サンプリングが実現された。
• ABCの例では、μとσの事後サンプルが真の値（μ = 0、σ = 1）の周辺に集中しており、正確な推論が行われていることが確認された。
• Pythonインタフェースにより、C++のコンパイルを経ずに完全なモデル定義が可能であり、迅速なプロトタイピングやデータサイエンスワークフローへの統合が可能になった。
• 制約付き事前分布フレームワーク内での適応的MCMCの使用により、複雑な事後分布のランドスケープにおいても混合性と収束性が著しく向上した。
• マルチスレッディングをサポートしており、証拠推定や事後分布の可視化を含む、包括的な後処理ツールも提供している。