[논문 리뷰] Degrees of freedom for combining regression with factor analysis

Patrick O. Perry, Natesh S. Pillai|arXiv (Cornell University)|2013. 10. 27.

Random Matrices and Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 고차원 다변량 모델에서 회귀분석과 요인분석을 통합할 때 자유도를 원칙적으로 할당하는 방법을 제안한다. 랜덤 행렬 이론을 사용하여 오차 분산 추정의 편향을 보정하며, 보수적이지만 정확한 자유도 추정을 제공함으로써 타당한 가설 검정과 통계적 검정력을 향상시킨다. 이는 AGEMAP 유전체 연구에서 연령 관련 유전자 수가 10배 증가한 것으로 확인되었다.

ABSTRACT

In the AGEMAP genomics study, researchers were interested in detecting genes related to age in a variety of tissue types. After not finding many age-related genes in some of the analyzed tissue types, the study was criticized for having low power. It is possible that the low power is due to the presence of important unmeasured variables, and indeed we find that a latent factor model appears to explain substantial variability not captured by measured covariates. We propose including the estimated latent factors in a multiple regression model. The key difficulty in doing so is assigning appropriate degrees of freedom to the estimated factors to obtain unbiased error variance estimators and enable valid hypothesis testing. When the number of responses is large relative to the sample size, treating the estimated factors like observed covariates leads to a downward bias in the variance estimates. Many ad-hoc solutions to this problem have been proposed in the literature without the backup of a careful theoretical analysis. Using recent results from random matrix theory, we derive a simple, easy to use expression for degrees of freedom. Our estimate gives a principled alternative to ad-hoc approaches in common use. Extensive simulation results show excellent agreement between the proposed estimator and its theoretical value. Applying our methodology to the AGEMAP genomics study, we found an order of magnitude increase in the number of significant genes. Although we focus on the AGEMAP study, the methods developed in this paper are widely applicable to other multivariate models, and thus are of independent interest.

연구 동기 및 목표

• 측정되지 않은 잠재 요인이 분석을 오염시킬 때 다변량 회귀분석에서 낮은 통계적 검정력 문제를 해결하기 위해.
• 다중 회귀 모델에서 추정된 잠재 요인에 적절한 자유도를 할당하는 데 도전하는 데.
• 실제로 널리 사용되지만 이론적 근거가 없는 수단적 자유도 조정 방법에 대한 이론적으로 타당한 대안을 제공하기 위해.
• 고차원 유전체 데이터(예: AGEMAP 연구에서처럼)에서 유전자-연령 연관성에 대한 타당한 가설 검정을 가능하게 하기 위해.

제안 방법

• 응답 행렬을 관측된 공변량과 특이값 분해를 통해 추정된 잠재 요인의 조합으로 모델링한다.
• 랜덤 행렬 이론을 사용하여 추정된 요인의 효과적 자유도에 대해 보수적이며 해석 가능한 해석식을 유도한다.
• 잡음 및 신호 부분공간에서 고유값의 계기 전이 행동을 분석하여 자유도를 유도한다.
• 추정된 요인을 회귀 프레임워크 내에서 난수 효과로 간주하고, 추정 불확실성을 보정하기 위해 수정된 자유도 항을 적용한다.
• 수정을 통해 정규성 가정 하에 편향 없는 오차 분산 추정과 t분포를 따르는 검정 통계량을 보장한다.
• 잔차를 행 및 열 회귀에서 추정한 후 계수 행렬의 식별 가능한 성분을 추정하고, 연령 관련 유전자 효과에 대한 가설 검정을 수행함으로써 방법을 적용한다.

실험 결과

연구 질문

• RQ1 다변량 회귀에서 추정된 잠재 요인에 대해 자유도를 일관되게 할당하여 분산 추정의 편향을 방지할 수 있는가?
• RQ2 잠재 요인이 고차원 설정에서 회귀자로 포함될 때 효과적 자유도를 보정하는 데 이론적 근거는 무엇인가?
• RQ3 잠재 요인을 통합함으로써 AGEMAP 연구에서 유전자-연령 연관성을 탐지하는 데 있어 통계적 검정력은 어느 정도 향상되는가?
• RQ4 제안된 자유도 추정기와 수단적 대안 간에 유형 I 오류 통제 및 검정력 측면에서 어떤 차이가 있는가?
• RQ5 이 방법은 유전체학을 초월한 다른 다변량 모델로 일반화될 수 있는가?

주요 결과

• 모의 실험에서 제안된 자유도 추정기는 이론적 예측과 밀접하게 일치하여 강력한 경험적 정확성을 입증한다.
• AGEMAP 연구에 이 방법을 적용한 결과, 유의미한 연령 관련 유전자 수가 한 계단 증가하였다.
• 추정기는 보수적이며 근본가설 하에서 타당한 유형 I 오류 비율을 유지한다.
• 이론적으로 타당한 근거가 없는 수단적 자유도 조정 방법에 대한 원칙적인 대안을 제공한다.
• 오차 공분산이 항등행렬의 배수일 경우에도 방법은 강인하며, 보편성 결과는 비정규 오차로의 확장을 시사한다.
• 응답 수(유전자 수)가 표본 수(연구 대상자 수)보다 훨씬 큰 고차원 설정에서도 타당한 추론을 가능하게 한다.