[論文レビュー] Fitting Bayesian item response models in Stata and Stan

Robert Grant, Bob Carpenter+2 more|arXiv (Cornell University)|Jan 13, 2016

Bayesian Modeling and Causal Inference参考文献 3被引用数 4

ひとこと要約

この論文は、Stata の bayesmh と StataStan を用いたベイズ型項目反応モデルの比較を行い、Stan のハミルトニアン・モンテカルロおよび no-U-turn サンプラー（NUTS）を活用する StataStan が、特に複雑な階層的ラーシュモデルにおいて、速度、効率性、拡張性に優れていることを示している。StataStan は、有効なサンプル1点あたりのサンプリングを bayesmh より最大24.1倍速く実行でき、大規模なモデルや並列計算のサポートがある場合に顕著な優位性を示している。

ABSTRACT

Stata users have access to two easy-to-use implementations of Bayesian inference: Stata’s native bayesmh command and StataStan, which calls the general Bayesian engine, Stan. We compare these implementations on two important models for education research: the Rasch model and the hierarchical Rasch model. StataStan fits a more general range of models than can be fit by bayesmh and uses a superior sampling algorithm, that is, Hamiltonian Monte Carlo using the no-Uturn sampler. Furthermore, StataStan can run in parallel on multiple CPU cores, regardless of the flavor of Stata. Given these advantages and given that Stan is open source and can be run directly from Stata do-files, we recommend that Stata users interested in Bayesian methods consider using StataStan.

研究の動機と目的

• Stata のネイティブな bayesmh と StataStan を用いたベイズ型項目反応モデルの適合における性能を評価・比較すること。
• ラーシュモデルおよび階層的ラーシュモデルにおいて、計算効率、サンプリング速度、有効サンプルサイズを評価すること。
• StataStan が備える高度なサンプリングアルゴリズムおよび並列処理機能が、bayesmh のメトロポリス・ハスティングス法およびギブス・サンプリングに比べて実際の利点をもたらすかどうかを検証すること。
• 教育および社会科学分野の研究における複雑なベイズモデリングに StataStan を採用するための実用的ガイダンスを提供すること。

提案手法

• 同一のデータと事前分布を用いて、bayesmh および StataStan でラーシュモデルおよび階層的ラーシュモデルを実装すること。
• StataStan では、効率的な後方分布サンプリングのため、no-U-turn サンプラー（NUTS）を用いたハミルトニアン・モンテカルロを適用すること。
• 両ソフトウェアで同一の初期値を用いて、4本の並列チェーンを実行し、比較可能性を確保すること。
• 主なパラメータ（σ²、τ²、µ）について、合計時間、シミュレーション時間のみ、および1秒あたりの有効サンプルサイズを測定すること。
• 被験者数（P = 100 から 10,000）の異なるモデルサイズにおける結果を比較し、ランダム効果の影響および並列処理の影響を評価すること。
• Stata でテキストベースの Stan コードを用いて、標準偏差のための Stan のデフォルトの一様事前分布とカスタムモデル仕様を適用すること。

実験結果

リサーチクエスチョン

• RQ1 ラーシュモデルの適合において、bayesmh と StataStan は計算効率および有効サンプルサイズの観点でどのように比較されるか？
• RQ2 階層的ラーシュモデルにおいて、StataStan は特にモデルサイズが大きくなるに従って、bayesmh よりもサンプリング効率に優れているか？
• RQ3 StataStan の並列計算機能は、直列実行や Stata/MP なしの bayesmh の制限を考慮した場合、性能向上にどの程度寄与するか？
• RQ4 結果は事前分布の指定にどの程度感度を示すか？また、StataStan のデフォルトの事前分布処理は、頑健性を向上させるか？
• RQ5 bayesmh におけるランダム効果オプションの使用は、サンプリング効率および有効サンプルサイズにどのような影響を与えるか？

主な発見

• 階層的ラーシュモデルにおける σ² のサンプリングにおいて、StataStan は合計時間で 2.4 から 14.1 倍、シミュレーション時間でのみの測定では 3.5 から 24.1 倍、bayesmh よりも高速であった。
• τ² については、合計時間で 0.6 から 2.8 倍、シミュレーション時間でのみの測定では 0.8 から 6.9 倍、StataStan が高速であった。
• µ のハイパーパrameterは、ほとんどの場合 bayesmh がより効率的にサンプリングされたが、シミュレーション時間でのみの測定では StataStan が最大 8.9 倍速かった。
• ランダム効果オプションを使用しない場合、bayesmh は、特に σ² および τ² において、同じ有効サンプルサイズに到達するまでに 200 から 500 倍も時間がかかった。
• StataStan における並列実行は、合計時間を約 50% 減少させた（例：P=1000 のラーシュモデルで 734s から 383s に）。一方、bayesmh は Stata/MP がなければ並列チェーンを使用できなかった。
• StataStan のモデルコンパイルのオーバーヘッドは、大規模なモデルでは性能向上が上回り、全体としてより効率的であった。