[論文レビュー] Parsimonious Mixed Models

Douglas M. Bates, Reinhold Kliegl+2 more|arXiv (Cornell University)|Jun 16, 2015

Statistical Methods and Bayesian Inference参考文献 18被引用数 1,116

ひとこと要約

この論文は、混合効果モデルにおける『最大限に保つ』アプローチに挑戦し、過剰パラメータ化された分散成分構造がデータ不足のため収束に失敗することが、アルゴリズムの欠陥ではなく、データの不十分さに起因することを示している。過剰パラメータ化を検出・是正するため、主成分分析（PCA）、分散成分の削除、相関制約を用いた単純化モデル選択戦略を提案し、より単純なモデルが固定効果の推論を同等に維持し、解釈不能な結果を避けることを示している。

ABSTRACT

The analysis of experimental data with mixed-effects models requires decisions about the specification of the appropriate random-effects structure. Recently, Barr, Levy, Scheepers, and Tily, 2013 recommended fitting `maximal' models with all possible random effect components included. Estimation of maximal models, however, may not converge. We show that failure to converge typically is not due to a suboptimal estimation algorithm, but is a consequence of attempting to fit a model that is too complex to be properly supported by the data, irrespective of whether estimation is based on maximum likelihood or on Bayesian hierarchical modeling with uninformative or weakly informative priors. Importantly, even under convergence, overparameterization may lead to uninterpretable models. We provide diagnostic tools for detecting overparameterization and guiding model simplification.

研究の動機と目的

• 心理的および心理言語学的研究で用いられる最大限の線形混合モデル（LMM）における収束不能の増加する問題に対処すること。
• 収束不能は推定アルゴリズムの欠陥によるものではなく、データのサポートを超えたモデルの複雑さに起因することを示すこと。
• 過剰パラメータ化されたLMMを単純化するための診断ツールと体系的な手順を開発し、固定効果の推論を損なわずに実現すること。
• 最大限のモデルが有効な推論のための必要条件でも十分条件でもないことを示し、単純さがモデルの解釈可能性と信頼性を向上させること。

提案手法

• 主成分分析（PCA）を用いて、分散成分の共分散行列の有効次元を特定する。
• 収束性の向上と過剰パラメータ化の低減を目的として、初期段階でランダム効果構造内のすべての相関パラメータをゼロに制約する。
• 尤度比検定（LRT）に基づき、有意でない分散成分および関連する相関パラメータを段階的に削除する。
• 最大モデルから始めて、段階的単純化を繰り返し、各ステップで適合度と収束性を評価する。
• 尤度比検定（LRT）を用いて、ネストされたモデルを比較し、削除された成分がデータによって統計的に支持されているかどうかを評価する。
• 最尤推定と弱 informative な事前分布を用いたベイジアン階層モデルを併用し、収束不能がアルゴリズム的要因ではなくデータに起因することを確認する。

実験結果

リサーチクエスチョン

• RQ1 なぜ最大限の線形混合モデルは頻繁に収束しなくなるのか。これは推定アルゴリズムの限界によるものだろうか。
• RQ2 過剰パラメータ化されたランダム効果構造は、解釈不能または退化した共分散行列をどれほど引き起こすのか。
• RQ3 体系的かつ単純化されたモデル単純化アプローチは、最大モデルに依存せずに、有効な固定効果推論を信頼性高く回復できるだろうか。
• RQ4 実世界の心理言語学的データに適用した場合、『最大限に保つ』アプローチを支持するシミュレーション研究はどれほど代表的だろうか。
• RQ5 混合効果モデルにおける過剰パラメータ化を、モデル適合の前または中で信頼性高く検出するための診断ツールは何か。

主な発見

• 最大限の混合モデルでの収束不能は、推定アルゴリズムの欠陥によるものではなく、利用可能なデータに比べてモデルが複雑すぎるためである。
• 収束が達成されても、過剰パラメータ化されたモデルはしばしば退化または特異な共分散行列を生じさせ、識別不能または冗長なランダム効果を示唆する。
• PCA、ゼロ相関制約、有意でない分散成分の段階的削除を用いた単純化モデルの選択は、収束性と解釈可能性を両立するモデルをもたらす。
• 検証されたすべての実データセットにおいて、最大モデルと単純化モデルの両方で固定効果予測子に関する結論は同一であり、最大モデルは有効な推論に必要ではないことを示している。
• 『最大限に保つ』推奨を支えるシミュレーション研究は、現実のデータとは代表的でない。なぜなら、それらは現実には稀にしか発生しない極端に大きな効果量と極端な相関パラメータ（例：±0.8）を用いているからである。
• 過剰パラメータ化されたモデルは標準誤差を小数点以下に影響し、p値が従来の臨界値を越えてシフトする可能性があるが、固定効果に関する本質的な結論には影響しない。