[論文レビュー] Mixed Effects Models are Sometimes Terrible

Christopher D. Eager, Joseph Roy|arXiv (Cornell University)|Jan 5, 2017

Statistical Methods and Bayesian Inference参考文献 18被引用数 86

ひとこと要約

本論文は、lme4 の最大混合効果モデルが現実的な条件下で収束しない可能性があることを示し、Stan の完全に特定されたベイズモデルを提案して収束問題をほぼ回避することを示している。

ABSTRACT

Mixed-effects models have emerged as the gold standard of statistical analysis in different sub-fields of linguistics (Baayen, Davidson & Bates, 2008; Johnson, 2009; Barr, et al, 2013; Gries, 2015). One problematic feature of these models is their failure to converge under maximal (or even near-maximal) random effects structures. The lack of convergence is relatively unaddressed in linguistics and when it is addressed has resulted in statistical practices (e.g. Jaeger, 2009; Gries, 2015; Bates, et al, 2015b) that are premised on the idea that non-convergence is an indication that a random effects structure is over-specified (or not parsimonious), the parsimonious convergence hypothesis (PCH). We test the PCH by running simulations in lme4 under two sets of assumptions for both a linear dependent variable and a binary dependent variable in order to assess the rate of non-convergence for both types of mixed effects models when a known maximal effect structure is used to generate the data (i.e. when non-convergence cannot be explained by random effects with zero variance). Under the PCH, lack of convergence is treated as evidence against a more maximal random effects structure, but that result is not upheld with our simulations. We provide an alternative model, fully specified Bayesian models implemented in rstan (Stan Development Team, 2016; Carpenter, et al, in press) that removed the convergence problems almost entirely in simulations of the same conditions. These results indicate that when there is known non-zero variance for all slopes and intercepts, under realistic distributions of data and with moderate to severe imbalance, mixed effects models in lme4 have moderate to high non-convergence rates which can cause linguistic researchers to wrongfully exclude random effect terms.

研究の動機と目的

• lme4 における最大のランダム効果構造で非収束がどのように生じるかを評価する。
• 線形および二値の結果の双方について、簡素な収束仮説（PCH）を検証する。
• 現実的なデータ条件下で、lme4 とベイズの Stan 実装の収束結果を比較する。
• 収束問題を回避するための代替の完全に特定されたベイズモデリング手法を提案する。

提案手法

• 既知の最大ランダム効果構造を持つ線形および二値結果について、2つの前提設定の下で lme4 におけるシミュレーションを実行する。
• 不均衡データの下で、すべての傾きと切片の分散が非ゼロである場合の非収束率を評価する。
• 非収束を最大構造に対する証拠として扱い、簡素な収束仮説（PCH）を検証する。
• rstan で完全に特定されたベイズモデルを実装し、lme4 の結果と収束結果を比較する。
• lme4 が中等度から高い非収束率を示す条件を説明する。

実験結果

リサーチクエスチョン

• RQ1 すべての傾きと切片の分散が非ゼロで生成されたデータの場合、最大ランダム効果構造で非収束は生じるか。
• RQ2 PCH が示唆するように、lme4 の非収束は過剰に指定されたランダム効果構造を示しているか。
• RQ3 同じデータ条件下で、Stan の完全に特定されたベイズモデルは収束問題を減らすか、または解消するか。
• RQ4 現実的なデータ分布と不均衡の下で、線形と二値従属変数の収束率はどう異なるか。

主な発見

• 最大構造が非ゼロの分散を持つ場合、現実的な分布と不均衡の下で Lme4 の混合効果モデルは中等度から高い非収束率を示す。
• シミュレーションによれば、非収束を PCH による過剰に指定されたランダム効果に確実に結びつけることはできない。
• 同じ条件下で rstan に実装された完全に特定されたベイズモデルは収束問題を大幅に解消する。
• 検討されたシナリオでは、ベイズモデルは lme4 よりも最大のランダム効果構造を耐性がある。
• すべての傾きと切片の非ゼロ分散が、lme4 における観測された収束問題の重要な条件である。