[논문 리뷰] Parsimonious Mixed Models

Douglas M. Bates, Reinhold Kliegl외 2명|arXiv (Cornell University)|2015. 06. 16.

Statistical Methods and Bayesian Inference참고 문헌 18인용 수 1,116

한 줄 요약

이 논문은 심리언어학적 데이터 분석에서 혼합효과 모형의 '최대화 유지' 접근 방식을 도전하며, 과도하게 복잡한 난수 효과 구조가 데이터 부족으로 인해 수렴하지 못하는 경향이 있음을 보여주고 있다. 알고리즘 결함 때문이 아니라 데이터의 지원을 초과하는 모형 복잡도 때문임을 밝히고 있다. 이를 바탕으로 주성분 분석(PCA), 분산 성분 제거, 상관관계 제약 조건을 활용한 단순화 전략을 제안하여 과도한 복잡성 문제를 진단하고 해결하고자 한다. 결과적으로 더 단순한 모형이 동일한 고정효과 추론을 제공하며 해석할 수 없는 결과를 피할 수 있음을 보여주고 있다.

ABSTRACT

The analysis of experimental data with mixed-effects models requires decisions about the specification of the appropriate random-effects structure. Recently, Barr, Levy, Scheepers, and Tily, 2013 recommended fitting `maximal' models with all possible random effect components included. Estimation of maximal models, however, may not converge. We show that failure to converge typically is not due to a suboptimal estimation algorithm, but is a consequence of attempting to fit a model that is too complex to be properly supported by the data, irrespective of whether estimation is based on maximum likelihood or on Bayesian hierarchical modeling with uninformative or weakly informative priors. Importantly, even under convergence, overparameterization may lead to uninterpretable models. We provide diagnostic tools for detecting overparameterization and guiding model simplification.

연구 동기 및 목표

• 심리언어학적 및 심리학 연구에서 널리 사용되는 최대선형혼합모형(LMMs)의 수렴 불량 문제를 다루기 위해.
• 수렴 실패가 추정 알고리즘 결함 때문이 아니라 모형 복잡도가 데이터의 지원을 초과하기 때문임을 입증하기 위해.
• 과도하게 복잡한 LMMs를 단순화하는 데 유용한 진단 도구와 체계적인 절차를 개발하여 고정효과 추론에 영향을 주지 않도록 하기 위해.
• 최대모형이 유효한 추론을 위해 반드시 필요하거나 충분하지 않음을 보여주고, 단순성의 원칙이 모형의 해석 가능성과 신뢰성 향상에 기여함을 입증하기 위해.

제안 방법

• 주성분 분석(PCA)을 사용하여 난수 효과의 분산-공분산 행렬의 유효 차원을 결정한다.
• 초기 단계에서 난수 효과 구조 내 모든 상관관계 매개변수를 0으로 제약하여 수렴성 향상과 과도한 복잡성 감소를 도모한다.
• 가능성비검정(LRTs)을 기반으로 유의미하지 않은 분산 성분과 관련된 상관관계 매개변수를 체계적으로 제거한다.
• 최대 모형에서 시작하여 반복적으로 모형 단순화를 수행하고, 각 단계에서 적합도와 수렴성 여부를 평가한다.
• 중첩된 모형을 비교하기 위해 가능성비검정(LRTs)을 활용하여 제거된 성분이 데이터에 의해 통계적으로 지지되는지 평가한다.
• 최대우도추정과 약한 정보를 가진 사전분포를 갖는 베이지안 계층 모형을 동시에 사용하여, 수렴 실패가 알고리즘적 문제 때문이 아니라 데이터 기반임을 확인한다.

실험 결과

연구 질문

• RQ1 왜 최대선형혼합모형(LMMs)은 자주 수렴하지 못하며, 이는 추정 알고리즘의 한계 때문인가?
• RQ2 과도하게 복잡한 난수 효과 구조는 얼마나 심각하게 비정상적이거나 특이한 분산-공분산 행렬을 초래하는가?
• RQ3 체계적이고 단순화된 모형 단순화 접근 방식을 통해 최대모형에 의존하지 않고도 유효한 고정효과 추론을 안정적으로 회복할 수 있는가?
• RQ4 실제 심리언어학적 데이터에 적용했을 때, '최대화 유지' 접근 방식을 뒷받침하는 시뮬레이션 연구는 얼마나 대표적인가?
• RQ5 혼합효과 모형에서 과도한 복잡성을 사전 또는 모형 피팅 중에 신뢰성 있게 진단할 수 있는 도구는 무엇인가?

주요 결과

• 최대혼합모형에서의 수렴 실패는 추정 알고리즘 결함 때문이 아니라, 가용 데이터로는 너무 복잡한 모형을 적합하려는 데서 기인한다.
• 수렴이 이루어져도 과도하게 복잡한 모형은 종종 비정상적이거나 특이한 분산-공분산 행렬을 생성하여 식별 불가능하거나 중복된 난수 효과를 나타낸다.
• PCA, 0상관관계 제약, 비의미한 분산 성분의 단계적 제거를 활용한 단순화된 모형 접근 방식은 수렴 가능하고 해석 가능한 모형을 도출한다.
• 모든 분석된 실제 데이터 세트에서 고정효과 예측 변수에 대한 결론은 최대모형과 단순화된 모형 간에 동일하게 유지되었으며, 이는 최대모형이 유효한 추론을 위해 반드시 필요하지 않음을 시사한다.
• 최대모형 추천에 기초한 시뮬레이션 연구는 실제 데이터와 유사하지 않으며, 극단적으로 큰 효과 크기와 극단적인 상관관계 매개변수(예: ±0.8)를 사용하고 있어 실제에서는 드물게 발생한다.
• 과도하게 복잡한 모형은 표준오차의 소수점 이하 자릿수에 영향을 미쳐 유의수준 기준선을 넘는지 여부를 바꿀 수는 있지만, 고정효과에 대한 주요 결론에는 영향을 주지 않는다.