[논문 리뷰] Fast expectation-maximization algorithms for spatial generalized linear mixed models

Yawen Guan, Murali Haran|arXiv (Cornell University)|2019. 09. 12.

Spatial and Panel Data Analysis참고 문헌 39인용 수 6

한 줄 요약

이 논문은 고차원 공간 랜덤 효과를 가진 공간 일반화선형혼합모형(SGLMM)에서 최대우도 추론을 위한 계산적으로 효율적인 두 가지 기대최대화(EM) 알고리즘—MCEM 및 LAEM—을 제안한다. 사영 기반 차원 감소 기법을 활용하여 이들 방법은 대규모 데이터셋으로도 효과적으로 스케일링되며, 연속 영역의 가우시안 과정과 이산 영역의 가우시안 마르코프 무작위 필드에 대해서도 빠르고 정확한 매개변수 추정 및 예측을 가능하게 한다.

ABSTRACT

Spatial generalized linear mixed models (SGLMMs) are popular and flexible models for non-Gaussian spatial data. They are useful for spatial interpolations as well as for fitting regression models that account for spatial dependence, and are commonly used in many disciplines such as epidemiology, atmospheric science, and sociology. Inference for SGLMMs is typically carried out under the Bayesian framework at least in part because computational issues make maximum likelihood estimation challenging, especially when high-dimensional spatial data are involved. Here we provide a computationally efficient projection-based maximum likelihood approach and two computationally efficient algorithms for routinely fitting SGLMMs. The two algorithms proposed are both variants of expectation maximization algorithm, using either Markov chain Monte Carlo or a Laplace approximation for the conditional expectation. Our methodology is general and applies to both discrete-domain (Gaussian Markov random field) as well as continuous-domain (Gaussian process) spatial models. We show, via simulation and real data applications, that our methods perform well both in terms of parameter estimation as well as prediction. Crucially, our methodology is computationally efficient and scales well with the size of the data and is applicable to problems where maximum likelihood estimation was previously infeasible.

연구 동기 및 목표

• 고차원이고 상관관계가 있는 잠재 공간 효과를 가진 공간 일반화선형혼합모형(SGLMM)에서 최대우도추정(MLE)의 계산 비가용성 문제를 해결한다.
• 대규모 공간 데이터셋에 대해 느리고 확장하기 어려운 기존의 MCMC 및 몬테카를로 방법의 한계를 극복한다.
• 몬테카를로 최대우도(MCML)보다 구현이 더 쉬운 EM 기반 알고리즘을 개발하여 연속 영역과 이산 영역 모두에 적합하게 한다.
• 사영 기반 차원 감소를 통합하여 계산 비용을 줄이고 모델 정확도를 유지하며 공간 혼란을 다룰 수 있도록 한다.
• epidemiology, 환경 과학, 농업 등 응용 분야에서 SGLMM에 대한 일상적이고 빠르며 신뢰할 수 있는 MLE를 가능하게 한다.

제안 방법

• 데이터 기반 고유성분에서 유도된 저랭크 기저를 사용하여 고차원 공간 랜덤 효과를 사영 기반 차원 감소로 근사한다.
• 두 가지 EM 변형—MCEM(Markov chain Monte Carlo EM)과 LAEM(Laplace approximation EM)—을 개발하며, 모두 사영된 잠재변수 구조를 사용한다.
• MCEM에서는 현재 매개변수 추정치를 바탕으로 완전 데이터 로그우도의 조건부 기대값을 계산하기 위해 MCMC를 사용한다.
• LAEM에서는 MCMC 대신 잠재변수의 조건부 분포에 대한 라플라스 근사를 사용하여 계산 비용을 절감한다.
• 사영된 잠재변수 모델을 사용하여 계산 복잡도를 O(n³)에서 O(mn²)로 감소시키며, 여기서 m ≪ n은 사영의 랭크이다.
• 매개변수 추정치와 로그우도의 수렴 기반 정지 기준을 구현하며, 안정성을 향상시키기 위해 초기값으로 적합된 GLM에서 유도된 값을 사용한다.

실험 결과

연구 질문

• RQ1 고차원이고 공간적으로 상관관계가 있는 잠재변수를 가진 SGLMM에 대해 EM 알고리즘을 계산적으로 효율적으로 만들 수 있는가?
• RQ2 사영 기반 차원 감소는 공간 모형에서 최대우도 추론의 확장성과 성능을 어떻게 향상시키는가?
• RQ3 다양한 데이터 크기와 공간 구조에서 MCEM과 LAEM 알고리즘이 수렴 속도, 안정성, 정확성 측면에서 어떻게 비교되는가?
• RQ4 저랭크 근사(m)가 매개변수 추정에 편향을 유발하지 않도록 공간 의존성을 표현하는 데 얼마나 사용될 수 있는가?
• RQ5 이러한 EM 기반 방법들은 MCMC 기반 베이지안 추론보다 빠르거나 비슷한 성능을 내며 대규모 공간 데이터셋에 대해 신뢰할 수 있는 추론을 유지할 수 있는가?

주요 결과

• 제안된 MCEM 및 LAEM 알고리즘은 최대 50,000개의 관측치를 가진 대규모 데이터셋에서도 매우 빠르고 정확한 매개변수 추정을 달성한다.
• n = 50,000일 때, m = 100이 공간 의존성을 충분히 포괄할 수 있었으며, 이는 m이 n에 대해 비선형적으로 증가함을 시사한다.
• MCEM 알고리즘은 LAEM보다 더 빠른 수렴 속도와 더 높은 초기값에 대한 안정성을 보였으며, 초기값이 MLE에서 멀리 떨어져 있을 경우 LAEM는 실패하였다.
• LAEM는 MCEM보다 계산상 더 빠르지만, 특히 초기값이 열악할 경우 더 불안정하였다.
• 연속 영역 설정에서는 전통적인 MCMC 기반 베이지안 추론보다 빠르게 성능을 발휘했으며, 이산 영역 설정에서는 유사한 성능을 보였다.
• 실제 응용을 위한 R 패키지 projSGLMM가 공개되어 있어 연구자들이 실제 공간 데이터 문제에 이 방법들을 적용할 수 있다.