[논문 리뷰] Mixed Effects Models are Sometimes Terrible

Christopher D. Eager, Joseph Roy|arXiv (Cornell University)|2017. 01. 05.

Statistical Methods and Bayesian Inference참고 문헌 18인용 수 86

한 줄 요약

본 논문은 lme4의 최대 혼합효과 모델이 현실적인 조건에서 수렴에 실패할 수 있음을 보여주고, Stan에서의 완전히 명시된 Bayesian 모델을 제안하여 수렴 문제를 크게 피하는 경향이 있다.

ABSTRACT

Mixed-effects models have emerged as the gold standard of statistical analysis in different sub-fields of linguistics (Baayen, Davidson & Bates, 2008; Johnson, 2009; Barr, et al, 2013; Gries, 2015). One problematic feature of these models is their failure to converge under maximal (or even near-maximal) random effects structures. The lack of convergence is relatively unaddressed in linguistics and when it is addressed has resulted in statistical practices (e.g. Jaeger, 2009; Gries, 2015; Bates, et al, 2015b) that are premised on the idea that non-convergence is an indication that a random effects structure is over-specified (or not parsimonious), the parsimonious convergence hypothesis (PCH). We test the PCH by running simulations in lme4 under two sets of assumptions for both a linear dependent variable and a binary dependent variable in order to assess the rate of non-convergence for both types of mixed effects models when a known maximal effect structure is used to generate the data (i.e. when non-convergence cannot be explained by random effects with zero variance). Under the PCH, lack of convergence is treated as evidence against a more maximal random effects structure, but that result is not upheld with our simulations. We provide an alternative model, fully specified Bayesian models implemented in rstan (Stan Development Team, 2016; Carpenter, et al, in press) that removed the convergence problems almost entirely in simulations of the same conditions. These results indicate that when there is known non-zero variance for all slopes and intercepts, under realistic distributions of data and with moderate to severe imbalance, mixed effects models in lme4 have moderate to high non-convergence rates which can cause linguistic researchers to wrongfully exclude random effect terms.

연구 동기 및 목표

• lme4에서 최대 랜덤 효과 구조에서 비수렴이 어떻게 발생하는지 평가한다.
• 선형 및 이진 결과 모두에서 간결한 수렴 가설(PCH)을 검증한다.
• 현실적인 데이터 조건에서 lme4와 베이지언 Stan 구현 간의 수렴 결과를 비교한다.
• 수렴 문제를 피하기 위한 대안으로 완전히 명시된 베이지안 모델링 접근법을 제안한다.

제안 방법

• 선형 및 이진 결과에 대해 알려진 최대 랜덤 효과 구조를 가진 두 가지 가정 집합에서 lme4로 시뮬레이션을 실행한다.
• 불균형 데이터에서 모든 기울기와 절편에 대해 비제로 분산이 있을 때 비수렴 비율을 평가한다.
• 비수렴을 최대 구조에 반대하는 증거로 간주하여 간결한 수렴 가설(PCH)을 검증한다.
• rstan에서 완전히 명시된 베이지안 모델을 구현하고 수렴 결과를 lme4 결과와 비교한다.
• lme4가 중간에서 높은 비수렴률을 보이는 조건을 설명한다.

실험 결과

연구 질문

• RQ1 모든 기울기와 절편에 대해 비제로 분산이 있는 상태로 데이터가 생성될 때 최대 랜덤 효과 구조에서 비수렴이 발생하는가?
• RQ2 PCH가 시사하는 대로 lme4의 비수렴이 과도하게 명시된 랜덤 효과 구조를 나타내는가?
• RQ3 동일한 데이터 조건에서 Stan의 완전히 명시된 베이지안 모델이 수렴 문제를 줄이거나 없애는가?
• RQ4 현실적인 데이터 분포와 불균형에서 선형 종속 변수와 이진 종속 변수 간의 수렴률 차이는 어떠한가?

주요 결과

• Lme4 혼합효과 모델은 실용적인 분포와 불균형 하에서 최대 구조가 비제로 분산을 가질 때 중간에서 높은 비수렴률을 보인다.
• 시뮬레이션에 따르면 비수렴은 PCH를 통해 과다하게 명시된 랜덤 효과 때문이라고 신뢰성 있게 귀속될 수 없다.
• 동일한 조건에서 rstan으로 구현된 완전히 명시된 베이지안 모델은 대체로 수렴 문제를 제거한다.
• 테스트된 시나리오에서 베이지안 모델은 lme4보다 최대 랜덤 효과 구조를 더 잘 수용한다.
• 모든 기울기와 절편에 대해 비제로 분산은 lme4에서 관찰된 수렴 문제의 핵심 조건이다.