[논문 리뷰] Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regression

Linjun Zhang, Rong Ma외 2명|ArXiv.org|2020. 11. 06.

Statistical Methods and Inference참고 문헌 36인용 수 7

한 줄 요약

이 논문은 혼합 비율과 공분산 구조가 미지인 고차원 혼합 선형 회귀 프레임워크를 제안하며, 추정을 위해 고차원 EM 알고리즘을 사용하고, 점근적 정규성을 확보하기 위해 비편향 추정량을 사용하며, FDR를 제어하기 위해 대규모 다중 검정 절차를 적용한다. 이 방법은 고차원이면서 이질적인 자료 환경에서 타당한 신뢰구간과 가설 검정을 가능하게 한다.

ABSTRACT

This paper studies the high-dimensional mixed linear regression (MLR) where the output variable comes from one of the two linear regression models with an unknown mixing proportion and an unknown covariance structure of the random covariates. Building upon a high-dimensional EM algorithm, we propose an iterative procedure for estimating the two regression vectors and establish their rates of convergence. Based on the iterative estimators, we further construct debiased estimators and establish their asymptotic normality. For individual coordinates, confidence intervals centered at the debiased estimators are constructed. Furthermore, a large-scale multiple testing procedure is proposed for testing the regression coefficients and is shown to control the false discovery rate (FDR) asymptotically. Simulation studies are carried out to examine the numerical performance of the proposed methods and their superiority over existing methods. The proposed methods are further illustrated through an analysis of a dataset of multiplex image cytometry, which investigates the interaction networks among the cellular phenotypes that include the expression levels of 20 epitopes or combinations of markers.

연구 동기 및 목표

• 혼합 비율과 공변동도 구조가 미지인 고차원 혼합선형회귀(MLR)에서 통계적 추론을 위한 이론적 및 계산적 방법의 부족을 해결한다.
• p >> n 조건에서 계산적으로 효율적이고 이론적으로 타당한 고차원 MLR 추정 절차를 개발한다.
• 개별 회귀 계수와 그 차이에 대해 점근적으로 타당한 신뢰구간을 구축한다.
• 고차원 환경에서 가짜 발견률(FDR)과 가짜 발견 비율(FDP)을 제어하는 대규모 다중 검정 절차를 설계한다.
• 다양한 이질적 하위집단을 포함하는 복잡한 생물학적 데이터셋, 예를 들어 멀티플렉스 이미지 세포측정 데이터에서의 추론을 가능하게 한다.

제안 방법

• 모르는 혼합 비율 ω*와 공분산 행렬 Σ 하에서 두 회귀 벡터 β₁*와 β₂*를 추정하기 위해 반복적인 고차원 EM 알고리즘을 제안한다.
• 희박성 조건과 고차원 조건 하에서 반복 추정량의 수렴 속도를 도출하고, 이를 증명한다.
• 반복 추정량의 편향을 보정하여 점근적 정규성을 확보하는 비편향 추정량을 구성한다.
• 비편향 추정량의 점근적 정규성을 활용하여 개별 회귀 계수의 비편향 추정치 중심에 기반한 신뢰구간을 구축한다.
• 비편향 검정 통계량을 기반으로 한 대규모 다중 검정 절차를 개발하여 고차원 점근 기준 하에서 FDR과 FDP를 점근적으로 제어한다.
• 표준 정규분포의 분위수를 기반으로 한 임계값 규칙을 적용하여 기각역을 결정함으로써, 고차원 점근 기준 하에서 FDR 제어를 보장한다.

실험 결과

연구 질문

• RQ1 혼합 비율 ω*와 설계 공분산 Σ가 모두 미지일 때, 고차원 혼합선형회귀에서 두 회귀 벡터 β₁*와 β₂*를 추정하는 데 효율적인 알고리즘이 무엇인가?
• RQ2 개별 β₁*와 β₂*의 성분에 대해 점근적으로 타당한 신뢰구간을 어떻게 구성할 수 있는가?
• RQ3 p개의 예측변수에 대해 H₀j: β₁j* = β₂j* = 0을 검정할 때, 가짜발견률(FDR)을 제어하는 대규모 다중 검정 절차는 무엇인가?
• RQ4 고차원 점근 기준 하에서 반복 추정량의 이론적 수렴 속도는 무엇인가?
• RQ5 제안된 방법은 현실적인 생물학적 자료 환경에서 유한 표본에서 어떻게 성능을 발휘하는가? 특히 기존 방법들과의 비교에서 어떤가?

주요 결과

• 희박성 조건 s = o(n^{1/2}/(log^{3/2}p log n)) 하에서 β₁*와 β₂*에 대한 반복 추정량은 최적의 수렴 속도를 달성한다.
• 비편향 추정량은 점근적으로 정규분포를 따르며, 이는 개별 회귀 계수에 대한 타당한 신뢰구간 구축을 가능하게 한다.
• 제안된 대규모 다중 검정 절차는 고차원 점근 기준 하에서 가짜발견률(FDR)과 가짜발견비율(FDP)을 점근적으로 제어한다.
• 모의 실험에서 기존 접근법에 비해 특히 고차원 및 이질적 환경에서 뛰어난 수치 성능을 보인다.
• 이 방법은 멀티플렉스 이미지 세포측정 데이터셋에 성공적으로 적용되어 20개의 세포 마커 간 생물학적으로 의미 있는 상호작용 네트워크를 드러냈다.
• 모르는 혼합 비율 ω* ∈ (1/2, 1)과 모르는 공분산 구조 Σ를 포함한 최소한의 가정 하에서도 이론적 보장을 확립하였다.