[論文レビュー] JAGS, NIMBLE, Stan: a detailed comparison among Bayesian MCMC software

Mario Beraha, Daniele Falco+1 more|arXiv (Cornell University)|Jul 20, 2021

Markov Chains and Monte Carlo Methods参考文献 44被引用数 10

ひとこと要約

この論文は、JAGS、NIMBLE、Stan—3つの主要なベイジアンMCMCソフトウェアプラットフォーム—の包括的で実証的な比較を提供しており、多様なモデル、事前分布、およびデータ生成メカニズムの下での性能を評価している。研究では、ロジスティック回帰やAFTモデルなどの非共役モデルではStanが効率性とサンプル品質に優れていることが判明した一方、共役線形モデルではJAGSが最適であり、混合モデルではNIMBLEが最も効率的であることが示された。

ABSTRACT

The aim of this work is the comparison of the performance of the three popular software platforms JAGS, NIMBLE and Stan. These probabilistic programming languages are able to automatically generate samples from the posterior distribution of interest using MCMC algorithms, starting from the specification of a Bayesian model, i.e. the likelihood and the prior. The final goal is to present a detailed analysis of their strengths and weaknesses to statisticians or applied scientists. In this way, we wish to contribute to make them fully aware of the pros and cons of this software. We carry out a systematic comparison of the three platforms on a wide class of models, prior distributions, and data generating mechanisms. Our extensive simulation studies evaluate the quality of the MCMC chains produced, the efficiency of the software and the goodness of fit of the output. We also consider the efficiency of the parallelization made by the three platforms.

研究の動機と目的

• JAGS、NIMBLE、Stanの3つのソフトウェアプラットフォームが、広範なベイジアンモデルの下で示すMCMCの性能、収束性、効率性を体系的に評価すること。
• MCMCチェーンの品質、サンプリング速度、並列処理効率という観点から、各ソフトウェアの強みと弱みを特定すること。
• 応用統計学者やメソドロジスト研究者に対して、特定のモデリングタスクに最も適したソフトウェアを選択するのを支援すること。
• 複数のモデルクラスと事前分布を対象とした繰り返しシミュレーションに基づく、根拠に基づいた堅牢なベンチマークを提供すること。
• モデルの種別、事前分布の構造、計算効率に基づいた、ソフトウェア選定に関する実用的助言を提供すること。

提案手法

• 線形モデル（共役およびラッソ事前分布を含む）、ロジスティック回帰、加速故障時間（AFT）モデル、および有限混合モデルの5つのモデルクラスにわたる広範なシミュレーションスタディを実施。
• すべての3プラットフォームで同一のモデル仕様とMCMC設定（反復回数、バーニング、スプライングなど）を用いて、公平な比較を実現。
• MCMC性能の評価に、有効サンプルサイズ（ESS）、潜在スケール減少因子（R-hat）、およびサンプリング速度（1秒あたりのサンプル数）といった主要な診断指標を用いる。
• 各モデルに対して20～50回の繰り返しシミュレーションを実施し、異なるデータ実現における性能のばらつきを評価し、堅牢性を確保。
• 時間正規化有効サンプルサイズ（ess/Ns）およびサンプリングレート（1秒あたりのサンプル数）を用いて、計算効率を測定。
• マルチコア環境における並列処理効率を、各プラットフォームが対応する範囲で比較して評価。

実験結果

リサーチクエスチョン

• RQ1 共役線形モデルに正規事前分布を適用した場合、どのソフトウェアプラットフォームが最も効率的なMCMCチェーン（最高のESS）を生成するか？
• RQ2 正規事前分布を適用したロジスティック回帰モデルにおいて、JAGS、NIMBLE、Stanは、サンプリング速度とチェーン自己相関性の観点でどのように比較されるか？
• RQ3 非階層的事前分布を伴う加速故障時間（AFT）モデルのような複雑なモデルを扱う際、3つのプラットフォームの相対的性能はいかがなものか？
• RQ4 ラッソと共役のどちらの事前分布を選ぶかが、各ソフトウェアの相対的効率性および収束性にどのように影響するか？
• RQ5 特に潜在混合構造を持つモデルにおいて、NIMBLEはJAGSやStanを上回る場面はどのような状況か？

主な発見

• 共役事前分布を伴う線形モデルでは、JAGSとStanは高品質なMCMCチェーン（高い有効サンプルサイズ：ESS）を生成するが、NIMBLEは著しく自己相関の強いチェーンを生成する。
• 共役線形モデルにおいては、JAGSが最も高速（約900サンプル／秒）であり、NIMBLEは著しく遅く（約2500サンプル／秒）かつ効率の悪いチェーンを生成する。
• 正規事前分布を適用したロジスティック回帰モデルでは、Stanは55～90％のESS効率を達成するが、JAGSとNIMBLEは30％未満であり、Stanのチェーンは混合性が高く、自己相関が低いことが示された。
• ロジスティック回帰モデルでは、StanがJAGS（400対35）とNIMBLE（240）を上回る速度を示し、このモデルクラスにおいて最も効率的であることが判明した。
• ラッソ事前分布を適用した線形モデルでは、JAGSは実用的でないほど遅く、推奨されない。一方、StanはNIMBLEよりも自己相関が少なく、高速であるため、好ましい選択肢である。
• 有限混合モデルでは、NIMBLEが最も効率的であり、約400サンプル／秒を記録し、JAGS（120）とStan（120）を著しく上回り、速度とESS品質のバランスが最も優れている。