[논문 리뷰] Likelihood Ratio Test in Multivariate Linear Regression: from Low to High Dimension

Yinqiu He, Tiefeng Jiang외 2명|arXiv (Cornell University)|2018. 12. 17.

Random Matrices and Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 저차원에서 고차원 설정에 이르기까지 다변량 선형 회귀에서 보정된 최대우도비검정(LRT)을 개발하며, 고전적인 카이제곱 근사가 실패하는 점근적 경계를 규명한다. $ p > n $ 설정에 대해 이중 단계 절차를 제안하고 이의 이론적 성질을 검증하며, 시뮬레이션과 실재 데이터 분석(복수염염색체-유전자발현프로파일 연관성)을 통해 향상된 검정력과 정확성을 입증한다.

ABSTRACT

Multivariate linear regressions are widely used statistical tools in many applications to model the associations between multiple related responses and a set of predictors. To infer such associations, it is often of interest to test the structure of the regression coefficients matrix, and the likelihood ratio test (LRT) is one of the most popular approaches in practice. Despite its popularity, it is known that the classical $χ^2$ approximations for LRTs often fail in high-dimensional settings, where the dimensions of responses and predictors $(m,p)$ are allowed to grow with the sample size $n$. Though various corrected LRTs and other test statistics have been proposed in the literature, the fundamental question of when the classic LRT starts to fail is less studied, an answer to which would provide insights for practitioners, especially when analyzing data with $m/n$ and $p/n$ small but not negligible. Moreover, the power performance of the LRT in high-dimensional data analysis remains underexplored. To address these issues, the first part of this work gives the asymptotic boundary where the classical LRT fails and develops the corrected limiting distribution of the LRT for a general asymptotic regime. The second part of this work further studies the test power of the LRT in the high-dimensional setting. The result not only advances the current understanding of asymptotic behavior of the LRT under alternative hypothesis, but also motivates the development of a power-enhanced LRT. The third part of this work considers the setting with $p>n$, where the LRT is not well-defined. We propose a two-step testing procedure by first performing dimension reduction and then applying the proposed LRT. Theoretical properties are developed to ensure the validity of the proposed method. Numerical studies are also presented to demonstrate its good performance.

연구 동기 및 목표

• 다변량 선형 회귀에서의 최대우도비검정(LRT)에 대한 고전적인 카이제곱 근사가 실패하기 시작하는 점근적 영역을 규명하는 것.
• 일반적인 점근적 영역, 특히 $ m/n $ 및 $ p/n $ 가 작지만 무시할 수 없는 고차원 설정을 포함하여도 유효한 보정된 LRT의 점근적 분포를 개발하는 것.
• 고차원 대립가설 하에서 LRT의 검정력 성능을 조사하고, 이를 향상시킬 수 있는 변형을 제안하는 것.
• $ p > n $ 인 경우 표준 LRT가 정의되지 않기 때문에, 차원 감소 후 보정된 LRT를 적용하는 이중 단계 검정 절차를 제안하는 것.
• 유전자 발현 및 복수염색체 변이 데이터를 활용한 광범위한 시뮬레이션과 실재 데이터 분석을 통해 제안된 방법을 검증하는 것.

제안 방법

• 귀무가설 하에서 LRT의 고전적 $ \chi^2 $ 근사가 실패하는 점근적 경계를 유도하며, $ m, p, n $ 의 임계 스케일링을 규명한다.
• 일반적인 점근적 영역에서 LRT 통계량의 보정된 점근적 분포를 제안하여, $ m, p $ 가 $ n $ 과 함께 증가하는 경우에도 유효성을 유지한다.
• $ p > n $ 에 대한 이중 단계 절차 적용: 먼저 예측변수에 대해 차원 감소(예: 주성분 분석 등을 통해)를 수행한 후, 감소된 데이터에 대해 보정된 LRT를 적용한다.
• 활성 예측변수의 선별을 향상시키기 위해 캐논리컬 상관관계 및 라소 기반 필터링을 적용하여 검정력과 커버리지 확보를 강화한다.
• 상관관계가 있는 예측변수($ \rho = 0.7, 0.9 $)와 다양한 신호 크기를 가진 몬테카를로 시뮬레이션을 수행하여 검정력과 정확한 커버리지 비율을 비교한다.
• 실재 데이터 분석에서는 세 개의 염색체에서 데이터를 활용하며, $ n_S = 26 $, $ n_T = 63 $, $ J = 2000 $ 개의 분할을 시행하고, 적응적으로 선택된 주성분 수($ m_0, p_0 $)를 사용한다.

실험 결과

연구 질문

• RQ1 다변량 선형 회귀에서 LRT에 대한 고전적 $ \chi^2 $ 근사가 실패하기 시작하는 $ m, p, n $ 의 점근적 스케일링은 언제인가?
• RQ2 예측변수 수 $ m, p $ 가 $ n $ 과 함께 증가하는 고차원 설정에서 LRT의 점근적 분포를 어떻게 보정하여 유효성을 유지할 수 있는가?
• RQ3 고차원 대립가설 하에서 LRT의 검정력 행동은 어떠하며, 이를 어떻게 향상시킬 수 있는가?
• RQ4 $ p > n $ 인 경우, 표준 검정이 정의되지 않기 때문에 LRT는 어떻게 수정할 수 있는가?
• RQ5 예측변수 간 상관관계 구조는 다변량 회귀에서 필터링 및 검정 절차의 성능에 어떤 영향을 미치는가?

주요 결과

• 고전적인 $ \chi^2 $ 근사가 실패하는 조건은 $ m/n $ 와 $ p/n $ 가 작지만 무시할 수 없을 정도일 때 발생하며, 중간 크기의 표본에서도 나타난다.
• 제안된 보정된 LRT는 넓은 고차원 점근적 영역 전반에서 정확한 크기와 유효성을 유지한다.
• 시뮬레이션 결과 $ n=100, p=120, m=5 $ 조건에서, 고도의 예측변수 상관관계 하에서 캐논리컬 상관관계 기반 필터링이 라소보다 검정력과 정확한 커버리지 비율에서 뛰어난 성능을 보였다.
• 진짜 활성 예측변수를 제대로 선별하지 못하면 항상 검정력이 감소하는 경향을 보였으며, 효과적인 필터링의 중요성을 강조한다.
• 실재 데이터 분석에서 복수염색체(CNV)와 유전자발현프로파일(GEP) 간의 연관성 분석에서, 같은 염색체 내 회귀분석(예: 8→8, 17→17)의 $ p $-값은 유의미하게 0.05 이하였으며, 귀무가설 기각을 지지한다.
• 이종염색체 간 회귀분석(예: 22→8)의 경우 대부분의 $ p $-값이 0.05를 초과하여 귀무가설 기각에 실패하는 것으로 나타났으며, 이는 제안된 방법의 실생활 유효성을 확인한다.