[논문 리뷰] Estimation and Inference for Very Large Linear Mixed Effects Models

Katelyn Gao, A. B. Owen|arXiv (Cornell University)|2016. 10. 25.

Statistical Methods and Bayesian Inference참고 문헌 19인용 수 5

한 줄 요약

이 논문은 교차 랜덤 효과를 가진 매우 큰 선형 혼합 효과 모델에 대해 확장 가능한 방법의 모멘트 추정기법을 제안한다. 고정 효과와 분산 컴포onent을 반복적으로 추정함으로써 O(N) 계산 비용을 달성한다. 이 방법은 회귀 계수와 분산 컴포넌트에 대해 일致성과 점근 정규성을 보장하며, 타당한 분산 추정을 제공함으로써 파rametric 가정이나 수렴 진단 없이도 대규모 데이터에서 효율적인 추론이 가능하다.

ABSTRACT

Linear mixed models with large imbalanced crossed random effects structures pose severe computational problems for maximum likelihood estimation and for Bayesian analysis. The costs can grow as fast as $N^{3/2}$ when there are N observations. Such problems arise in any setting where the underlying factors satisfy a many to many relationship (instead of a nested one) and in electronic commerce applications, the N can be quite large. Methods that do not account for the correlation structure can greatly underestimate uncertainty. We propose a method of moments approach that takes account of the correlation structure and that can be computed at O(N) cost. The method of moments is very amenable to parallel computation and it does not require parametric distributional assumptions, tuning parameters or convergence diagnostics. For the regression coefficients, we give conditions for consistency and asymptotic normality as well as a consistent variance estimate. For the variance components, we give conditions for consistency and we use consistent estimates of a mildly conservative variance estimate. All of these computations can be done in O(N) work. We illustrate the algorithm with some data from Stitch Fix where the crossed random effects correspond to clients and items.

연구 동기 및 목표

• 교차 랜덤 효과를 가진 대규모 선형 혼합 모델에서 최대우도법 및 베이지안 방법의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• e커머스 및 기타 대규모 데이터 응용 분야에서 흔한 대규모이고 불균형한 데이터 환경에서 기존 방법의 O(N^{3/2}) 계산 비용 증가 문제를 해결한다.
• 계산 비용을 O(N)으로 줄이면서도 통계적 정확도를 유지하여 매우 큰 데이터 세트에서 실용적인 추론을 가능하게 하는 방법을 개발한다.
• 정규 분포 가정 없이도 고정 효과(β)와 분산 컴포넌트(σ²_A, σ²_B, σ²_E)에 대해 일치성과 점근 정규성을 보장하는 추정을 제공한다.
• 정규 분포 가정 없이도 일관적이고 보수적인 공식을 사용해 β와 분산 컴포넌트의 신뢰도 있는 분산 추정을 가능하게 하여 실제 데이터에서 비정규 오차가 존재할 경우에도 유용하다.

제안 방법

• 두 단계 반복적 방법의 모멘트 접근법을 제안한다: 먼저 모델의 조건부 기대값 구조에서 유도된 모멘트 조건을 이용해 β를 추정하고, 그 다음 두 번째 모멘트 조건을 이용해 분산 컴포넌트를 추정한다.
• σ²_A, σ²_B, σ²_E의 일관된 추정치를 대체하여 사용하는 유한 표본 분산 공식을 적용함으로써 점근적 근사 없이도 타당한 추론이 가능하도록 보장한다.
• Gao와 Owen(2017)의 결과를 기반으로 약간 보수적인 분산 추정치를 적용하여, 정규성 가정이 성립하지 않을 경우에도 강건성을 확보한다.
• 교차 랜덤 효과의 구조를 활용하여 (R+C)³ 크기의 행렬 역행렬 계산을 피하고, O(N) 계산 복잡도를 달성한다.
• 모멘트 추정기의 모듈러 구조 덕분에 병렬 계산이 가능하여 분산 시스템에서의 확장성을 향상시킨다.
• 조정 파rameter, 수렴 진단, 분포 가정 없이도 적용 가능하므로 실무에서 적용하기 쉽고 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 방법의 모멘트 접근법은 매우 큰 선형 혼합 모델에서 고정 효과와 분산 컴포넌트에 대해 일관성과 점근 정규성을 동시에 확보할 수 있는가?
• RQ2 이러한 방법의 계산 비용은 얼마이며, 기존 방법의 O(N^{3/2}) 비용과 대비해 관측 수 N에 대해 선형적으로 증가하는가?
• RQ3 β와 분산 컴포넌트의 평균 제곱 오차 측면에서 방법의 모멘트 접근법의 통계적 효율성은 최대우도 추정에 비해 어떻게 비교되는가?
• RQ4 파arametric 가정이나 수렴 진단 없이도 β와 분산 컴포넌트에 대해 타당한 분산 추정치를 구성할 수 있는가?
• RQ5 우도 기반 분산 추정치가 실패할 수 있는 비정규 오차 분포 하에서도 이 방법은 신뢰성을 유지하는가?

주요 결과

• 이 방법은 O(N) 계산 비용과 O(R + C) 메모리 사용을 달성하여 N > 10^6 개의 관측치를 가진 데이터 세트에서도 적용 가능하다.
• β에 대한 추정량은 일관성과 점근 정규성을 보이며, 일관된 분산 컴포넌트 추정치를 사용한 정확한 유한 표본 공식에 기반한 분산 추정치를 제공한다.
• σ²_A와 σ²_B에 대한 분산 컴포넌트에 대해 방법의 모멘트 접근법은 최대우도 추정과 거의 동일한 평균 제곱 오차를 달성하여 높은 효율성을 보인다.
• MLE에 비해 β와 σ²_E에 대해 약간의 효율 손실이 있지만, 이는 계산 비용의 극적인 감소로 상쇄된다.
• 정규 오차 분포가 아닐 경우에도 이 방법은 유효하며, 이는 우도 기반 분산 추정치가 일관성이 없을 수 있음을 고려할 때 강건성을 제공한다.
• 효율적 표본 크기는 1/√ε에 의해 결정되며, 여기서 ε = max(ε_R, ε_C) 이다. 이는 희소하거나 불균형한 설계에서 효율적 표본 크기의 보수적인 해석을 제안한다.