[論文レビュー] StepMix: A Python Package for Pseudo-Likelihood Estimation of Generalized Mixture Models with External Variables

Sacha Morin, Robin Legault+5 more|arXiv (Cornell University)|Apr 7, 2023

Bayesian Methods and Mixture Models被引用数 8

ひとこと要約

StepMix は、共変量と遠位結果を含む一般化有限混合モデルのバイアス調整済み1-step、2-step、3-step 疑似尤度推定器を実装したオープンソースの Python パッケージであり、scikit-learn スタイルのAPIとRラッパーを備えています。

ABSTRACT

StepMix is an open-source Python package for the pseudo-likelihood estimation (one-, two- and three-step approaches) of generalized finite mixture models (latent profile and latent class analysis) with external variables (covariates and distal outcomes). In many applications in social sciences, the main objective is not only to cluster individuals into latent classes, but also to use these classes to develop more complex statistical models. These models generally divide into a measurement model that relates the latent classes to observed indicators, and a structural model that relates covariates and outcome variables to the latent classes. The measurement and structural models can be estimated jointly using the so-called one-step approach or sequentially using stepwise methods, which present significant advantages for practitioners regarding the interpretability of the estimated latent classes. In addition to the one-step approach, StepMix implements the most important stepwise estimation methods from the literature, including the bias-adjusted three-step methods with Bolk-Croon-Hagenaars and maximum likelihood corrections and the more recent two-step approach. These pseudo-likelihood estimators are presented in this paper under a unified framework as specific expectation-maximization subroutines. To facilitate and promote their adoption among the data science community, StepMix follows the object-oriented design of the scikit-learn library and provides an additional R wrapper.

研究の動機と目的

• 外部変数（共変量と遠位結果）を含む一般化有限混合モデルを推定するオープンソースの Python パッケージを提供する。
• 統合EMベースのフレームワーク内で1-stepおよびバイアス調整済み逐次推定（2-stepおよび3-step）を提供する。
• 測定モデルと構造モデルを分離して解釈性を高める逐次推定を可能にし、潜在クラスの解釈性を促進する。
• データサイエンスコミュニティの採用を促進するため、PythonとRの間の利便性を高めるラッパーとscikit-learn風インターフェースを提供する。）

提案手法

• 測定モデル（MM）と構造モデル（SM）を完全モデル（CM）の中で尤度と疑似尤度の定式化を統一する。
• EMアルゴリズムベースのサブルーチンを実装し、1-step、2-step、およびバイアス調整済み3-step推定を疑似尤度として実行する。
• EMフレームワーク内で欠測データを全情報最大尤度（FIML）としてサポートする。
• Eステップでのクラス責任 tau(i,k) = P(X=i|観測値; 現在のパラメータ) を提供し、Mステップで CM パラメータを更新する。
• scikit-learn に合わせたクラス設計のAPIを提供し、広範なアクセス性のためのRラッパーも用意する。
• 共変量 Z^p、指標 Y、および潜在クラス X given 条件付き独立性を扱う遠位結果 Z^o の取り扱いを含む。

実験結果

リサーチクエスチョン

• RQ1 外部変数を含む一般化混合モデルの統合EMフレームワーク内で、バイアス調整済み逐次推定をどのように実装できるか？
• RQ2 解釈性と推定安定性の観点から、1-stepと逐次推定（2-stepおよび3-step）の実務的・理論的利点は何か？
• RQ3 オープンソースのPythonソフトウェアがバイアス調整済み3-step推定を堅牢に実装し、共変量と非ガウス成分をサポートできるか？
• RQ4 機能性、アクセシビリティ、API設計の点で、StepMixは既存のRおよびPythonパッケージとどう比較されるか？

主な発見

• StepMixは、共変量を含む一般化混合モデルとGaussian/非Gaussian成分の両方に対するバイアス調整済み3-step推定のオープンソース実装を提供する。
• 本パッケージは、欠測データに対するFIMLを含む、1-step、2-step、3-step推定を統一EMベースの疑似尤度フレームワーク内で実装している。
• StepMixはscikit-learnのAPIに準拠しており、PythonのMLツールとの直接的な統合を可能にし、Rラッパーも提供している。
• Pythonでのバイアス調整済み3-step法をネイティブに実装し、疑似尤度推定を可能にする最初のオープンソースパッケージである。
• 測定モデルと構造モデルを分離することにより解釈性を支援し、潜在クラスの定義と遠位結果を混同せずに探索的分析を促進する。