[논문 리뷰] The correlation structure of mixed effects models with crossed random effects in controlled experiments

Jaromil Frossard, Olivier Renaud|arXiv (Cornell University)|2019. 03. 26.

Optimal Experimental Design Methods인용 수 12

한 줄 요약

이 논문은 심리학 실험에서 교차 랜덤 효과를 가진 혼합 효과 모형에 대한 새로운 공분산 구조를 제안하며, 반복 측정 ANOVA 원리의 확장이다. 시뮬레이션 연구를 통해 과도하게 단순하거나 과도하게 복잡한 공분산 구조는 신뢰할 수 없는 결과를 초래함을 입증하고, 모든 제안된 구조(새로운 것 포함)를 구현하기 위한 R 코드와 R 패키지를 제공한다.

ABSTRACT

The design of experiments in psychology can often be summarized to participants reacting to stimuli. For such an experiment, the mixed effects model with crossed random effects is usually the appropriate tool to analyse the data because it considers the sampling of both participants and stimuli. However, these models let to users several choices when analysing data and this practice may be disruptive for researchers trained to a set of standardized analysis such as ANOVA. In the present article, we are focusing on the choice of the correlation structure of the data, because it is both subtle and influential on the results of the analysis. We provide an overview of several correlation structures used in the literature and we propose a new one that is the natural extension of the repeated measures ANOVA. A large simulation study shows that correlation structures that are either too simple or too complex fail to deliver credible results, even for designs with only three variables. We also show how the design of the experiment influences the correlation structure of the data. Moreover, we provide R code to estimate all the correlation structures presented in this article, as well as functions implemented in an R package to compute our new proposal.

연구 동기 및 목표

• 심리학 실험에서 교차 랜덤 효과를 가진 혼합 효과 모형에 대한 표준화된 공분산 구조 선택의 부족을 해결하기 위해.
• 실험 설계가 데이터의 기본 공분산 구조에 어떻게 영향을 미치는지 밝히기 위해.
• 반복 측정 ANOVA의 원리를 자연스럽게 혼합 모형에 확장할 수 있는 새로운 공분산 구조를 제안하기 위해.
• 다양한 공분산 구조의 성능을 시뮬레이션을 통해 평가하여 신뢰할 수 있는 결과를 초래하는 구조를 특정하기 위해.
• 모든 제안된 공분산 구조를 추정하기 위한 접근 가능한 R 코드와 R 패키지를 제공하기 위해.

제안 방법

• 반복 측정 ANOVA의 복합 대칭 구조를 교차 랜덤 효과를 가진 혼합 효과 모형으로 일반화하는 새로운 공분산 구조를 제안한다.
• 다양한 공분산 구조의 성능을 평가하기 위해, 변수가 단지 세 개인 실험 설계를 기반으로 대규모 시뮬레이션 연구를 수행한다.
• 과도하게 단순한(예: 독립 오차)에서 과도하게 복잡한(예: 비구조적) 공분산 구조까지 비교하여 통계적 추론에 미치는 영향을 평가한다.
• 참가자와 자극에 대한 교차 랜덤 효과를 가진 혼합 효과 모형을 사용하여 반응 데이터의 공분산을 모델링한다.
• 모든 공분산 구조(새로운 제안 포함)를 R로 구현하고, 간편한 적용을 위한 R 패키지 내 함수를 제공한다.
• 시뮬레이션 기반 평가를 통해 유의수준 오류 비율, 통계적 검정력, 다양한 공분산 가정 하에서의 매개변수 추정 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 통제된 심리학 실험에서 교차 랜덤 효과를 가진 혼합 효과 모형에서 진정한 데이터 생성 과정을 가장 잘 반영하는 공분산 구조는 무엇인가?
• RQ2 실험 설계는 혼합 모형에서 적절한 공분산 구조 선택에 어떻게 영향을 미치는가?
• RQ3 과도하게 단순하거나 과도하게 복잡한 공분산 구조는 얼마나 심각하게 편향되거나 신뢰할 수 없는 통계적 결과를 초래하는가?
• RQ4 반복 측정 ANOVA의 가정을 혼합 효과 프레임워크로 자연스럽게 확장할 수 있는 새로운 공분산 구조를 개발할 수 있는가?
• RQ5 작은에서 중간 크기의 표본 설계에서 다양한 공분산 구조는 신뢰수준 오류 통제와 통계적 검정력 측면에서 어떻게 성능을 보이는가?

주요 결과

• 과도하게 단순하거나 과도하게 복잡한 공분산 구조는 변수가 단지 세 개인 설계에서도 일관되게 불신뢰할 수 있는 결과를 초래한다.
• 반복 측정 ANOVA를 확장한 제안된 공분산 구조는 기존의 선택지보다 더 정확하고 안정적인 대안을 제공한다.
• 실험 설계는 기본 공분산 구조에 상당한 영향을 미치며, 기본 설정이 아닌 신중한 선택이 필요하다.
• 시뮬레이션 결과는 새로운 공분산 구조가 타당한 유의수준 오류 비율을 유지하고, 대안 대비 더 나은 매개변수 추정 정확도를 보임을 보여준다.
• 제공된 R 패키지와 코드를 통해 연구자들은 실무에서 모든 공분산 구조(새로운 제안 포함)를 쉽게 추정하고 비교할 수 있다.
• 본 연구는 공분산 구조 선택이 단순한 문제만은 아니며, 기본 실험 설계에서도 추론에 상당한 영향을 미칠 수 있음을 입증한다.