[論文レビュー] regsem: Regularized Structural Equation Modeling

Ross Jacobucci|arXiv (Cornell University)|Mar 24, 2017

Advanced Statistical Modeling Techniques参考文献 19被引用数 11

ひとこと要約

本論文では、小標本における構造方程式モデリング（SEM）のモデルの複雑さを低減するためにリッジおよびラッソ罰則を適用する正則化構造方程式モデリング（RegSEM）を実装するRパッケージregsemを紹介する。SEMに罰則付き尤度推定を統合することで、regsemは特にパラメータ数と標本サイズ比が低い状況において、パラメータ推定の正確性を向上させ、偽陽性率を低下させる。

ABSTRACT

The regsem package in R, an implementation of regularized structural equation modeling (RegSEM; Jacobucci, Grimm, and McArdle 2016), was recently developed with the goal of incorporating various forms of penalized likelihood estimation in a broad array of structural equations models. The forms of regularization include both the ridge (Hoerl and Kennard 1970) and the least absolute shrinkage and selection operator (lasso; Tibshirani 1996), along with sparser extensions. RegSEM is particularly useful for structural equation models that have a small parameter to sample size ratio, as the addition of penalties can reduce the complexity, thus reducing the bias of the parameter estimates. The paper covers the algorithmic details and an overview of the use of regsem with the application of both factor analysis and latent growth curve models.

研究の動機と目的

• パラメータ数と標本サイズ比が高い構造方程式モデリング（SEM）における偏りの高い推定や収束の問題に対処すること。
• 限られた標本サイズのSEMにおいて正則化技術を適用することでモデルの複雑さを低減し、推定の正確性を向上させること。
• 因子分析や潜在的成長曲線モデルを含む多様なSEMタイプに対応する一般用途のRパッケージ（regsem）を提供すること。
• 潜在変数モデルにおける変数選択と縮小を可能にしつつ、モデル構造と解釈可能性を保持すること。
• 特に従来の最尤推定が小標本（Nが小さい）条件下で失敗する場合に、大規模SEMにおける正則化の使用を容易にすること。

提案手法

• 従来の最尤推定（MLE）に罰則関数を追加することで、正則化構造方程式モデリング（RegSEM）を実装する。
• ラッソ（L1ノルム）およびリッジ（L2ノルム）罰則を用いて回帰係数を0に近づけ、ラッソでは一部の係数を正確に0にすることで変数選択を可能にする。
• RegSEMの目的関数を F_regsem = F_ML + λ × P(·) として定式化し、P(·)は選択されたパラメータ（例えば、成長モデルにおける回帰パス）の罰則関数とする。
• 非微分可能なラッソ罰則に対応できるため、近接勾配降下法を最適化に用いる。この手法により、複雑なSEMにおいても収束が可能になる。
• regsem Rパッケージを通じて、確認的因子分析、潜在的成長曲線モデル、潜在的変化スコアモデルを含む多様なSEMモデルをサポートする。
• 過剰適合を低減し、特にNが小さい高次元設定下でのモデルの単純さ（パラメータのスパarsity）を向上させるために、スパarsity誘導罰則を組み込む。

実験結果

リサーチクエスチョン

• RQ1 小標本における構造方程式モデルにおいて、正則化SEM（RegSEM）は従来の最尤推定と比較して、パラメータ推定の正確性をどのように向上させるか？
• RQ2 リッジおよびラッソ罰則は、パラメータ数と標本サイズ比が低いSEMにおいて、偽陽性および偽陰性率をどの程度低減するか？
• RQ3 RegSEMは、モデル構造や解釈可能性を損なわず、潜在変数モデルにおける変数選択を効果的に実行できるか？
• RQ4 regsem Rパッケージは、多くの潜在変数および観測変数を含む複雑なSEMを、小標本条件下でどのように推定を支援するか？
• RQ5 高次元SEMへの正則化を適用する際の計算的および収束の課題は何か、そしてそれらはどのように緩和できるか？

主な発見

• N=80という小標本（29パラメータ）のシミュレーションデータにおいて、RegSEMは最尤推定と比較して偽陽性および偽陰性率を顕著に低減した。
• regsemにおけるラッソ罰則は、10個の予測子を含む成長曲線モデルにおいて、一部の回帰係数を正確に0にしたことで、効果的な変数選択を実現した。
• regsemパッケージは、標準のラップトップで40個の罰則を含む複雑なSEMを数秒で推定可能であり、中規模モデルにおける計算の現実可能性を示した。
• 正則化により、特にN < 10pの状況下で、パラメータ数と標本サイズ比が低いモデルのモデルの複雑さが低減され、推定バイアスが改善された。
• 近接勾配降下法により、非微分可能なラッソ罰則を含むモデルでも収束が可能となり、従来のSEM最適化アルゴリズムの制限を克服した。
• 将来的なregsemの改善には、座標降下法やk-フォールド交差検証などのリサンプリング手法を組み込むことで、最適な正則化パラメータの選択をより良くする可能性がある。