[論文レビュー] Efficient Bayesian Structural Equation Modeling in Stan

Edgar C. Merkle, Ellen Fitzsimmons+2 more|arXiv (Cornell University)|Aug 18, 2020

Advanced Statistical Modeling Techniques参考文献 42被引用数 13

ひとこと要約

この論文は、潜在変数を周辺化することで、Stanにおけるベイジアン構造方程式モデリング（SEM）のための新規で効率的なアプローチを提示している。従来のJAGSおよびStan実装と比較して、MCMCサンプリングの速度と効率が顕著に向上している。本手法は、サンプルサイズが大きくなるに従って特に優れた性能を発揮し、サンプルサイズに依存しない固定次元のパrameter空間を有するためである。

ABSTRACT

Structural equation models comprise a large class of popular statistical models, including factor analysis models, certain mixed models, and extensions thereof. Model estimation is complicated by the fact that we typically have multiple interdependent response variables and multiple latent variables (which may also be called random effects or hidden variables), often leading to slow and inefficient MCMC samples. In this paper, we describe and illustrate a general, efficient approach to Bayesian SEM estimation in Stan, contrasting it with previous implementations in R package blavaan (Merkle & Rosseel, 2018). After describing the approaches in detail, we conduct a practical comparison under multiple scenarios. The comparisons show that the new approach is clearly better. We also discuss ways that the approach may be extended to other models that are of interest to psychometricians.

研究の動機と目的

• StanおよびJAGSにおける既存のMCMCベースのベイジアンSEM推定の非効率性、特に大規模なサンプルや複雑なモデルに対して解決を図ること。
• 潜在変数を周辺化することで、高次元のパラメータを直接サンプリングする必要を回避し、サンプリング効率を向上させる新しいStanベースのアプローチを開発すること。
• 非正規のアウトカムや潜在変数の相互作用を含むモデルに対しても、より速くスケーラブルなベイジアンSEMの推定を可能にすること。
• blavaan Rパッケージ内に実装された実用的でオープンソースの実装を提供し、従来の手法と直接比較可能にする。
• 事前分布の情報性がSEMのMCMCサンプリングにおけるモデルの共分散行列の正定値性および事後分布のキャリブレーションに与える影響を検討すること。

提案手法

• 潜在変数を解析的に周辺化することで、パrameter空間の次元を構造的および測定モデルのパラメータに限定し、潜在変数を直接サンプリングする必要を回避する。
• 観測データの周辺尤度を用いる。この尤度は、構造的および測定モデルのパラメータから導かれる平均および共分散行列を持つ多変量正規分布である。
• Stanの効率的なハミルトニアン・モンテカルロ（HMC）サンプラーを活用し、周辺尤度と事前分布の密度を用いて、事後分布の比例関係を表現する。
• 計算の安定性と勾配に基づく効率的なサンプリングを保証する再パラメータ化を用いて、Stanでモデルを記述する。
• 2つの先行アプローチ（潜在変数を条件付きでサンプリングするJAGSの手法、および潜在変数を直接サンプリングするStanの手法）と本手法を対比する。
• 実装はblavaan Rパッケージに統合されており、ユーザーが手法を切り替え、性能を比較できるようにしている。

実験結果

リサーチクエスチョン

• RQ1 Stanで潜在変数を周辺化することで、条件付きサンプリング手法と比較して、ベイジアンSEMにおけるMCMCサンプリング効率を顕著に向上させることができるか？
• RQ2 サンプルサイズの増加に伴って、新しい周辺化アプローチの性能は、条件付き手法と比較してどのように変化するか？
• RQ3 MCMCサンプリングにおいて、事前分布の影響がモデルが想定する共分散行列の正定値性に与える影響は何か？
• RQ4 新しいStanベースの手法は、blavaanにおける元々のJAGSおよびStan実装と比較して、速度と効率の面でどのように異なるか？
• RQ5 データ増幅技術を用いることで、順序尺度変数などの非正規観測変数に対しても、周辺化アプローチを拡張可能か？

主な発見

• 新しい周辺化Stanアプローチは、blavaanにおける元々のJAGSおよび以前のStan実装と比較して、テストされたすべてのシナリオにおいて著しく高速かつ効率的である。
• サンプルサイズが増加してもサンプリング効率が一定に保たれる。これは、パラメータ空間の次元がサンプルサイズに依存しないためであり、条件付き手法とは異なり、潜在変数の増加に伴い次元が増加しない。
• 高い有効サンプルサイズと低いR-hat値の観点から、収束が速く、事後分布の探索がより効果的であることが示された。
• 周辺化アプローチにより、モデル比較に不可欠な情報基準（DICやWAIC）の信頼性ある計算が可能になった。
• 情報豊富な事前分布が、モデルが想定する共分散行列の正定値性を意図しない形で誘発することがあり、事前分布の情報性とモデル同定性の間の非直感的な相互作用が浮き彫りになった。
• 非正規のアウトカム（例：順序尺度変数）に対しては、データ増幅技術を用いた将来的な拡張が可能であり、本手法の実用的応用性をさらに高めることが期待される。