[논문 리뷰] Scalable Algorithms for Learning High-Dimensional Linear Mixed Models

Zilong Tan, Kimberly Roche외 2명|arXiv (Cornell University)|2018. 03. 12.

Statistical Methods and Inference참고 문헌 24인용 수 4

한 줄 요약

이 논문은 서브샘플드 랜덤라이즈드 하다르드 변환(SRHT)과 커널 행렬 기반의 새로운 이중 추정기(dual estimators)를 사용하여 고차원 선형 혼합 모델(LMMs)을 학습하기 위한 확장 가능하고 하위선형 복잡도 알고리즘을 제안한다. 이 방법은 증명 가능한 오차 보장을 제공하며 최신 기술 대비 계산 비용을 크게 감소시켜 고차원 설정에서 효율적인 매개변수 추정과 이론적 강건성을 실현한다.

ABSTRACT

Linear mixed models (LMMs) are used extensively to model dependecies of observations in linear regression and are used extensively in many application areas. Parameter estimation for LMMs can be computationally prohibitive on big data. State-of-the-art learning algorithms require computational complexity which depends at least linearly on the dimension $p$ of the covariates, and often use heuristics that do not offer theoretical guarantees. We present scalable algorithms for learning high-dimensional LMMs with sublinear computational complexity dependence on $p$. Key to our approach are novel dual estimators which use only kernel functions of the data, and fast computational techniques based on the subsampled randomized Hadamard transform. We provide theoretical guarantees for our learning algorithms, demonstrating the robustness of parameter estimation. Finally, we complement the theory with experiments on large synthetic and real data.

연구 동기 및 목표

• 고차원 선형 혼합 모델(LMMs)의 매개변수 추정이 공변량 차원 p에 선형적으로 의존함으로써 발생하는 계산 비용 문제를 해결하기 위해.
• 추정 정확도에 대한 이론적 보장을 유지하면서 p에 대해 하위선형 계산 복잡도를 가지는 알고리즘을 개발하기 위해.
• 모든 원래 공변량에 대한 고정 효과 계수 추정을 효율적으로 수행하여 고차원 응용에서 효과 크기의 해석 가능성을 유지하기 위해.
• 일般 공분산 행렬에 대한 반복적이지 않은 접근 방식과 블록 대각형 랜덤 효과 구조에 적합한 빠른 EM 변형을 제공하기 위해.
• 합성 데이터와 실제 유전체 데이터(예: WTCCC 데이터셋 포함)에서의 경험적 속도와 정확도를 입증하기 위해.

제안 방법

• n×n 커널 행렬을 서브샘플드 랜덤라이즈드 하다르드 변환(SRHT)을 통해 계산하는 데 기반한 근사 이중 추정기(approximate dual estimators)를 도입하여 p에 대한 의존성을 선형에서 하위선형으로 감소시킴.
• 기존 공분산 성분을 대체하기 위해 닫힌 형태의 표현식을 가진 근사 공분산 성분(ACVs)을 제안하여 고정 효과 추정 과정에서의 효율적 계산을 가능하게 함.
• 일般 공분산 행렬에 대한 반복적이지 않은 알고리즘과 블록 대각형 랜덤 효과 구조에 적합한 빠른 EM 변형을 구현함.
• SRHT를 사용해 커널 행렬 근사화를 가속화하여 낮은 질서 구조를 유지하면서 계산 오 overhead 를 최소화함.
• 합성 데이터와 실제 유전체 데이터(예: WTCCC)에 적용하여 최신 기술인 BSLMM와의 성능를 비교함.
• 이론적 분석을 통해 추정된 매개변수와 진정된 매개변수 간의 증명 가능한 오차 범위를 확립하여 강건한 매개변수 추정 보장을 제공함.

실험 결과

연구 질문

• RQ1 고차원 LMMs의 매개변수 추정에서 p에 대해 하위선형 계산 복잡도를 달성하면서도 이론적 보장을 유지할 수 있는가?
• RQ2 차원 축소 없이 모든 p개의 공변량에 대한 고정 효과 계수를 효율적으로 추정할 수 있는가? 이는 효과 크기의 해석 가능성을 유지하는 데 기여하는가?
• RQ3 EM 알고리즘에서 비용이 많이 드는 행렬 역행렬 계산을 닫힌 형태의 ACVs로 대체할 수 있는가? 이는 수렴 속도를 가속화하면서 정확도를 손상시키지 않는가?
• RQ4 실제 유전체 데이터에서 BSLMM 및 ARSVD와 같은 최신 기술 대비 런타임과 예측 성능 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 다양한 데이터 차원과 노이즈 수준에서 제안된 알고리즘의 경험적 강건성과 정확도는 어떠한가?

주요 결과

• 제안된 알고리즘은 O(n²(k + log p) log k / ε²)의 계산 복잡도를 가지며, 이는 p에 대해 하위선형이므로 기존 방법 대비 최대 n/log p 배 빠른 성능을 보임.
• WTCCC 데이터셋에서 arLMM-AVC는 T1D에 대해 중앙값 런타임 20.4분을 기록하여 BSLMM의 120.0분 대비 약 6배 빠른 성능을 보임.
• 모든 일곱 가지 질병에 걸쳐 arLMM-AVC와 BSLMM 간 고정 효과 계수 추정치 간 상관계수가 0.977를 초과하여 높은 추정 정확도를 입증함.
• AUC로 측정한 예측 성능은 arLMM-AVC와 BSLMM 간 차이가 모든 경우에서 0.01 이내로 거의 동일함.
• 저, 중간, 고 신호 대 노이즈 비율 설정에서 변수 선택 과제에서 진짜 신호의 90% 이상을 성공적으로 포착함.
• 이론적 분석을 통해 근사 오차가 높은 확률로 유계임을 확인하여 매개변수 추정 강건성에 대한 증명 가능한 보장을 제공함.