[논문 리뷰] MM Algorithms for Variance Components Models

Hua Zhou, Liuyi Hu외 2명|arXiv (Cornell University)|2015. 09. 24.

Statistical Methods and Inference참고 문헌 6인용 수 6

한 줄 요약

이 논문은 선형 혼합 모형에서 분산 구성요소 추정을 위한 새로운 최소화-최대화(MM) 알고리즘을 소개한다. MM 원리를 활용하여 전역 수렴성과 수치적 안정성을 보장한다. 두 개 이상의 분산 구성요소가 존재할 경우 기존의 EM 알고리즘보다 수렴 속도가 빠르며, 200개 이상의 분산 구성요소를 포함한 고차원 게놈 데이터를 포함한 대규모 문제에서 뛰어난 효율성을 보여준다.

ABSTRACT

Variance components estimation and mixed model analysis are central themes in statistics with applications in numerous scientific disciplines. Despite the best efforts of generations of statisticians and numerical analysts, maximum likelihood estimation and restricted maximum likelihood estimation of variance component models remain numerically challenging. Building on the minorization-maximization (MM) principle, this paper presents a novel iterative algorithm for variance components estimation. MM algorithm is trivial to implement and competitive on large data problems. The algorithm readily extends to more complicated problems such as linear mixed models, multivariate response models possibly with missing data, maximum a posteriori estimation, penalized estimation, and generalized estimating equations (GEE). We establish the global convergence of the MM algorithm to a KKT point and demonstrate, both numerically and theoretically, that it converges faster than the classical EM algorithm when the number of variance components is greater than two and all covariance matrices are positive definite.

연구 동기 및 목표

• 고차원 혼합 모형에서 분산 구성요소의 최대우도 및 제한 최대우도 추정의 수치적 과제를 해결하기 위해.
• 대규모 데이터셋과 복잡한 모형에 효율적으로 스케일링되는 안정적이고 전역 수렴성 있는 알고리즘을 개발하기 위해.
• MM 프레임워크를 일반화된 추정 방정식, 페널티 추정, 그리고 누락 데이터가 있는 다변량 반응 모형으로 확장하기 위해.
• 두 개 이상의 분산 구성요소를 가진 모형에서 MM 알고리즘이 EM보다 수렴 속도가 빠른지 확인하기 위해.
• lasso 유형의 페널라이제이션을 활용한 게놈학에서의 고차원 분산 구성요소 선택을 가능하게 하기 위해.

제안 방법

• MM 알고리즘은 로그우도를 열등화하는 서로서프 함수를 구성하여, 단조 증가 수렴과 KKT 점으로의 전역 수렴을 보장한다.
• 각 반복 단계에서, 행렬 볼록성과 MM 원리를 통해 유도된 이차 하한을 최대화함으로써 분산 구성요소를 갱신한다.
• 양의 정부호 공분산 행렬을 처리하며, 고정 효과 설계 행렬의 영공간에 반응을 투영함으로써 자연스럽게 REML로 확장된다.
• 고차원 설정에서는 lasso 유형의 페널라이제이션과 통합되어 관련된 분산 구성요소를 선택하며, 해 경로 접근법을 사용한다.
• 비선형 모형과 타원형 대칭 분포로의 확장은 기존의 강건 추정 프레임워크와 MM 주요화를 조합함으로써 달성된다.
• 알고리즘은 각 반복에서 행렬 역행렬과 선형 대수 연산만을 요구하여 헤시안 행렬 계산을 피함으로써 계산적으로 효율적이다.

실험 결과

연구 질문

• RQ1 MM 원리가 선형 혼합 모형에서 분산 구성요소 추정에 효과적으로 적용되어 전역 수렴성과 수치적 안정성을 보장할 수 있는가?
• RQ2 분산 구성요소 수가 두 개를 초과할 경우, 제안된 MM 알고리즘의 수렴 속도가 고전적 EM 알고리즘보다 어떻게 비교되는가?
• RQ3 MM 프레임워크는 다변량 반응, 누락 데이터, 페널티 추정을 포함한 혼합 모형을 다룰 수 있도록 확장될 수 있는가?
• RQ4 MM 알고리즘이 게놈 데이터에서 200개 이상의 분산 구성요소를 포함한 고차원 문제에 효율적으로 스케일링되는가?
• RQ5 MM 알고리즘은 타원형 분포 하에서 일반화된 추정 방정식과 강건 회귀에 적용될 수 있도록 적응될 수 있는가?

주요 결과

• MM 알고리즘은 전역적으로 카루쉬-쿤-터커(Karush-Kuhn-Tucker, KKT) 점으로 수렴하여 최적화의 이론적 신뢰성을 보장한다.
• 분산 구성요소 수가 두 개를 초과하고 모든 공분산 행렬이 양의 정부호일 경우, MM 알고리즘이 EM 알고리즘보다 수렴 속도가 빠르다.
• 200개 이상의 분산 구성요소를 포함한 게놈 연구에서 MM 알고리즘은 확장성과 계산 효율성을 입증하였다.
• lasso 페널라이제이션을 적용한 MM 알고리즘은 키와 관련된 상위 10개 유전자를 성공적으로 식별하였으며, 순위가 개별 p-값과 다름을 보여 향상된 변수 선택을 확인하였다.
• MM 알고리즘은 수렴 속도가 빠르고 수치적 안정성을 유지하여 대규모 및 고차원 문제에 적합하다.
• 이 방법은 자연스럽게 REML, 누락 데이터가 있는 다변량 반응, 최대사후확률(MAP) 추정, 일반화된 추정 방정식(GEE)으로 확장된다.