[논문 리뷰] Autocorrelated errors in experimental data in the language sciences: Some solutions offered by Generalized Additive Mixed Models

R. Harald Baayen, Jacolien van Rij외 2명|arXiv (Cornell University)|2016. 01. 08.

Bayesian Modeling and Causal Inference참고 문헌 11인용 수 13

한 줄 요약

이 논문은 언어 과학 실험에서 자기상관 오차를 다루기 위해 일반화된 가산 혼합 모델(GAMMs)을 사용하고, 자기상관 구조(ar1)와 요인 스무스를 적용한다. 잔차의 시계열 의존성과 비선형 랜덤 효과를 명시적으로 모델링함으로써, GAMMs는 반복적인 보정이 필요한 p-값을 감소시키고, 더 해석 가능하고 안정적인 비선형 효과를 제공한다. 이는 단어 명명, 음고 곡선, 그리고 뇌전도 데이터 분석에서 입증되었다.

ABSTRACT

A problem that tends to be ignored in the statistical analysis of experimental data in the language sciences is that responses often constitute time series, which raises the problem of autocorrelated errors. If the errors indeed show autocorrelational structure, evaluation of the significance of predictors in the model becomes problematic due to potential anti-conservatism of p-values. This paper illustrates two tools offered by Generalized Additive Mixed Models (GAMMs) (Lin and Zhang, 1999; Wood, 2006, 2011, 2013) for dealing with autocorrelated errors, as implemented in the current version of the fourth author's mgcv package (1.8.9): the possibility to specify an ar(1) error model for Gaussian models, and the possibility of using factor smooths for random-effect factors such as subject and item. These factor smooths are set up to have the same smoothing parameters, and are penalized to yield the non-linear equivalent of random intercepts and random slopes in the classical linear framework. Three case studies illustrate these issues.

연구 동기 및 목표

• 언어 과학 분야 실험 데이터에서 흔히 발생하지만 무시되는 자기상관 오차 문제를 다루기 위해.
• 잔차의 자기상관이 존재할 경우 기존 선형 혼합 모델이 반복적인 보정이 필요한 p-값을 산출할 수 있음을 보여주기 위해.
• GAMMs가 비선형 랜덤 효과와 자기상관 잔차를 모델링하기 위해 두 가지 핵심 도구—요인 스무스와 ar(1) 오차 구조—를 제공함을 보여주기 위해.
• 자기상관을 교정함으로써 실제 언어 과학 데이터셋에서 비선형 효과의 추정치가 더 정확하고 해석 가능해지는 방식을 설명하기 위해.
• 행동적 또는 신경생리학적 반응 데이터에 시간적 의존성이 존재할 경우, 전통적 모델보다 GAMMs를 더 우수한 대안으로 제안하기 위해.

제안 방법

• 언어 과학 데이터에서 예측 변수와 반응 변수 간의 비선형 관계를 모델링하기 위해 일반화된 가산 혼합 모델(GAMMs)의 사용.
• 연속 예측 변수의 스무스하고 파도치는 효과 및 그 상호작용을 모델링하기 위해 얇은 판 회귀 스퍼인(tprs)과 텐서 곱 스무스(tp)의 적용.
• 공유된 스무스 파rameter와 정규화를 통해 랜덤 효과(예: 참가자, 자료)를 모델링하기 위해 요인 스무스의 구현. 이는 비선형 프레임워크 내에서 랜덤 절편과 기울기를 모방한다.
• mgcv 패키지의 rho 파rameter를 통해 ar(1) 오차 구조를 구현하여 잔차의 자기상관을 명시적으로 모델링하고 교정한다.
• 요인 수준 간의 대비를 모델링하기 위해 차분 스무스의 사용. 이는 선형 모델의 처리 대비와 유사하다.
• 모델 비교 및 잔차 진단을 통해 ar(1)과 요인 스무스가 잔차를 백색화하고 모델 적합도를 향상시키는 효과를 평가한다.

실험 결과

연구 질문

• RQ1 실험 반응 데이터의 잔차 자기상관이 기존 선형 혼합 모델에서 반복적인 보정이 필요한 p-값을 얼마나 유의하게 초래하는가?
• RQ2 반응 패턴이 선형이 아닐 경우, GAMMs의 요인 스무스가 참가자와 자료의 비선형 랜덤 효과를 효과적으로 모델링할 수 있는가?
• RQ3 GAMMs에 ar(1) 오차 구조를 포함시키면 언어 실험의 시계열 데이터에서 잔차를 백색화하고 모델 유효성을 유의하게 향상시킬 수 있는가?
• RQ4 자기상관을 교정함으로써 반응 지연, 음고 곡선, EEG 진폭 데이터에서 비선형 효과의 기능 형태와 해석 가능성은 어떻게 변화하는가?
• RQ5 GAMMs에 ar(1)과 요인 스무스를 적용할 경우, 언어 과학 데이터에서 복잡한 시간 의존성 의존성을 더 잘 포착할 수 있는가?

주요 결과

• 단어 명명 데이터에서는 참가자에 대한 요인 스무스가 시간에 따른 비선형 성능 추세를 잘 포착했고, 잔차의 자기상관을 제거하기 위해 ar(1) rho 값 0.3으로 충분했다.
• 음고 곡선 데이터에서는 요인 스무스만으로는 강한 자기상관을 제거하지 못했고, 잔차를 백색화하기 위해 높은 ar(1) rho 값(0.85–0.9)이 필요했다.
• EEG 데이터에서는 ar(1) 오차의 포함으로 초기에 복잡하고 과도하게 파도치는 비선형 표면가 단순화된 선형 효과로 변형되었으며, 특히 조건 간의 차이 표면에서 두드러졌다.
• ar(1) 모델은 부분 효과 그림에서 과도한 파도치는 현상과 오버피팅을 감소시켰고, 특히 상호작용 표면의 오른쪽 아래 모서리에서 소음이 과도하게 증폭되던 문제를 완화시켰다.
• 자기상관 제거 후 p-값이 더 보수적으로 변화했고, 효과의 기능 형태도 변화하여, 교정 후 비선형 상호작용이 명백히 선형으로 변한 사례가 있었다.
• 한 사례에서는 요인 스무스를 포함시킨 후 시간-고정요인 상호작용의 유의성이 사라져, 원래의 유의성이 비모수화된 비선형 랜덤 효과에 의해 유도된 것으로 나타났다.