[论文解读] Degrees of freedom for combining regression with factor analysis

Patrick O. Perry, Natesh S. Pillai|arXiv (Cornell University)|Oct 27, 2013

Random Matrices and Applications参考文献 28被引用 6

一句话总结

该论文提出了一种系统性方法，在高维多变量模型中结合回归与因子分析时确定自由度，利用随机矩阵理论校正误差方差估计中的偏差。该方法得出的自由度估计保守且准确，可实现有效的假设检验并提高统计功效，如在AGEMAP基因组研究中显著增加了10倍的与年龄相关基因数量。

ABSTRACT

In the AGEMAP genomics study, researchers were interested in detecting genes related to age in a variety of tissue types. After not finding many age-related genes in some of the analyzed tissue types, the study was criticized for having low power. It is possible that the low power is due to the presence of important unmeasured variables, and indeed we find that a latent factor model appears to explain substantial variability not captured by measured covariates. We propose including the estimated latent factors in a multiple regression model. The key difficulty in doing so is assigning appropriate degrees of freedom to the estimated factors to obtain unbiased error variance estimators and enable valid hypothesis testing. When the number of responses is large relative to the sample size, treating the estimated factors like observed covariates leads to a downward bias in the variance estimates. Many ad-hoc solutions to this problem have been proposed in the literature without the backup of a careful theoretical analysis. Using recent results from random matrix theory, we derive a simple, easy to use expression for degrees of freedom. Our estimate gives a principled alternative to ad-hoc approaches in common use. Extensive simulation results show excellent agreement between the proposed estimator and its theoretical value. Applying our methodology to the AGEMAP genomics study, we found an order of magnitude increase in the number of significant genes. Although we focus on the AGEMAP study, the methods developed in this paper are widely applicable to other multivariate models, and thus are of independent interest.

研究动机与目标

• 解决未测量的潜在因子混淆分析时多变量回归统计功效低下的问题。
• 解决在多重回归模型中为估计的潜在因子分配适当自由度的挑战。
• 提供一种理论上合理的替代方案，以取代实践中常用但缺乏理论依据的自由度调整方法。
• 在高维基因组数据（如AGEMAP研究）中实现对基因-年龄关联的有效假设检验。

提出的方法

• 该方法将响应矩阵建模为可观测协变量与通过奇异值分解估计的潜在因子的组合。
• 利用随机矩阵理论推导出估计因子有效自由度的保守且可解析处理的表达式。
• 通过分析噪声子空间与信号子空间中特征值的相变行为来推导自由度。
• 该方法将估计的因子视为回归框架中的随机效应，通过校正的自由度项调整其估计不确定性。
• 该校正确保在正态性假设下误差方差估计无偏，且t统计量服从t分布。
• 该方法通过回归行和列的残差来估计系数矩阵的可识别成分，随后对年龄相关基因效应进行假设检验。

实验结果

研究问题

• RQ1 如何在多变量回归中为估计的潜在因子一致地分配自由度，以避免方差估计偏差？
• RQ2 在高维设置下，当潜在因子作为回归变量包含时，有效自由度校正的理论基础是什么？
• RQ3 在AGEMAP研究中，纳入潜在因子在多大程度上提高了检测基因-年龄关联的统计功效？
• RQ4 与即兴的自由度调整方法相比，所提出的自由度估计器在控制第一类错误率和统计功效方面表现如何？
• RQ5 该方法能否推广到基因组学以外的其他多变量模型？

主要发现

• 在模拟中，所提出的自由度估计器与理论预测高度一致，表现出强大的经验准确性。
• 将该方法应用于AGEMAP研究后，显著与年龄相关基因的数量增加了约一个数量级。
• 该估计器具有保守性，在原假设下能保持有效的第一类错误率。
• 该方法为实践中广泛使用但缺乏理论依据的即兴自由度调整提供了一种系统性替代方案。
• 即使误差协方差为单位矩阵的倍数，该方法仍保持稳健；普遍性结果表明其可能适用于非正态误差。
• 该方法在响应变量数量（基因数）远大于样本量（受试者数）的高维设置中，仍能实现有效的统计推断。