[论文解读] Mixed Effects Models are Sometimes Terrible

Christopher D. Eager, Joseph Roy|arXiv (Cornell University)|Jan 5, 2017

Statistical Methods and Bayesian Inference参考文献 18被引用 86

一句话总结

这篇论文表明，在现实条件下，lme4 中的最大混合效应模型可能无法收敛，并提出在 Stan 中的完全指定贝叶斯模型，在很大程度上避免收敛问题。

ABSTRACT

Mixed-effects models have emerged as the gold standard of statistical analysis in different sub-fields of linguistics (Baayen, Davidson & Bates, 2008; Johnson, 2009; Barr, et al, 2013; Gries, 2015). One problematic feature of these models is their failure to converge under maximal (or even near-maximal) random effects structures. The lack of convergence is relatively unaddressed in linguistics and when it is addressed has resulted in statistical practices (e.g. Jaeger, 2009; Gries, 2015; Bates, et al, 2015b) that are premised on the idea that non-convergence is an indication that a random effects structure is over-specified (or not parsimonious), the parsimonious convergence hypothesis (PCH). We test the PCH by running simulations in lme4 under two sets of assumptions for both a linear dependent variable and a binary dependent variable in order to assess the rate of non-convergence for both types of mixed effects models when a known maximal effect structure is used to generate the data (i.e. when non-convergence cannot be explained by random effects with zero variance). Under the PCH, lack of convergence is treated as evidence against a more maximal random effects structure, but that result is not upheld with our simulations. We provide an alternative model, fully specified Bayesian models implemented in rstan (Stan Development Team, 2016; Carpenter, et al, in press) that removed the convergence problems almost entirely in simulations of the same conditions. These results indicate that when there is known non-zero variance for all slopes and intercepts, under realistic distributions of data and with moderate to severe imbalance, mixed effects models in lme4 have moderate to high non-convergence rates which can cause linguistic researchers to wrongfully exclude random effect terms.

研究动机与目标

• 评估在 lme4 下最大随机效应结构中非收敛性如何产生。
• 在线性和二元结果中测试简约收敛假设（PCH）。
• 在现实数据条件下比较 lme4 与贝叶斯 Stan 实现的收敛结果。
• 提出一种替代的完全指定贝叶斯建模方法以避免收敛问题。

提出的方法

• 在线性和二元结果下，在已知最大随机效应结构的前提下，使用两组假设在 lme4 中运行仿真。
• 在不平衡数据下，当所有斜率和截距的方差都非零时，评估非收敛率。
• 通过将非收敛作为反对最大结构的证据来测试 PCH。
• 在 rstan 中实现完全指定的贝叶斯模型，并将收敛结果与 lme4 结果进行比较。
• 描述在何种条件下 lme4 显示中到高的非收敛率。

实验结果

研究问题

• RQ1 当数据在所有斜率和截距均具有非零方差时，在最大随机效应结构下是否会发生非收敛？
• RQ2 如 PCH 所示，lme4 的非收敛是否表明随机效应结构过于复杂？
• RQ3 相同数据条件下，Stan 的完全指定贝叶斯模型是否减少或消除收敛问题？
• RQ4 在现实数据分布和不平衡下，线性和二元因变量的收敛率有何差异？

主要发现

• 当最大结构具有非零方差时，Lme4 的混合效应模型在现实分布和不平衡下表现出中到高的非收敛率。
• 根据仿真，非收敛不能可靠地归因于通过 PCH 的过度指定的随机效应。
• 在相同条件下，使用 rstan 实现的完全指定贝叶斯模型在很大程度上消除了收敛问题。
• 在测试情景中，贝叶斯模型对最大随机效应结构的容忍程度优于 lme4。
• 所有斜率和截距的非零方差是观测到的 lme4 收敛问题的一个关键条件。