[论文解读] EigenPrism: Inference for High-Dimensional Signal-to-Noise Ratios

Lucas Janson, Rina Foygel Barber+1 more|arXiv (Cornell University)|May 8, 2015

Statistical Methods and Inference参考文献 28被引用 4

一句话总结

EigenPrism 是一种新颖且计算高效的高维线性模型（$p > n$）中构建 $\theta^2 = \|\bm{\Sigma}^{1/2}\bm{\beta}\|_2^2$ 信噪比有效置信区间的全新方法，无需稀疏性假设或噪声水平知识。在多元正态设计下实现渐近有效性与有限样本覆盖性，支持对回归误差、噪声水平和遗传力的推断。

ABSTRACT

Consider the following three important problems in statistical inference, namely, constructing confidence intervals for (1) the error of a high-dimensional ($p>n$) regression estimator, (2) the linear regression noise level, and (3) the genetic signal-to-noise ratio of a continuous-valued trait (related to the heritability). All three problems turn out to be closely related to the little-studied problem of performing inference on the $\ell_2$-norm of the signal in high-dimensional linear regression. We derive a novel procedure for this, which is asymptotically correct when the covariates are multivariate Gaussian and produces valid confidence intervals in finite samples as well. The procedure, called EigenPrism, is computationally fast and makes no assumptions on coefficient sparsity or knowledge of the noise level. We investigate the width of the EigenPrism confidence intervals, including a comparison with a Bayesian setting in which our interval is just 5% wider than the Bayes credible interval. We are then able to unify the three aforementioned problems by showing that the EigenPrism procedure with only minor modifications is able to make important contributions to all three. We also investigate the robustness of coverage and find that the method applies in practice and in finite samples much more widely than just the case of multivariate Gaussian covariates. Finally, we apply EigenPrism to a genetic dataset to estimate the genetic signal-to-noise ratio for a number of continuous phenotypes.

研究动机与目标

• 开发一种在高维线性模型（$p > n$）中构建回归系数向量 $\bm{\beta}$ 的 $\ell_2$-范数置信区间的有效方法，这是一个基础但研究不足的推断问题。
• 统一三种关键统计问题的推断：(1) 回归估计误差，(2) 噪声水平，(3) 遗传信噪比（遗传力），这三者均可归结为估计 $\theta^2 = \|\bm{\Sigma}^{1/2}\bm{\beta}\|_2^2$。
• 在最小假设下确保有限样本有效性与渐近正确性——具体而言，仅需多元正态协变量假设，同时避免对系数稀疏性或 $\sigma^2$ 知识的依赖。
• 评估所得置信区间的宽度与稳健性，与贝叶斯可信区间进行比较，并在非高斯设计下评估性能。

提出的方法

• 提出一种基于设计矩阵 $\bm{X}^T\bm{X}$ 的特征分解的新方法 EigenPrism，利用响应向量 $\bm{y}$ 在 $\bm{X}^T\bm{X}$ 的特征向量上的平方投影。
• 基于 $z_i^2 = \bm{u}_i^T\bm{y}^2$（即 $\bm{y}$ 在第 $i$ 个特征向量 $\bm{u}_i$ 上的平方投影）构建检验统计量，以估计 $\theta^2$。
• 利用基于特征值渐近分布与 $z_i^2$ 统计量的标准化枢轴量，构建 $\theta^2$ 的双侧置信区间。
• 采用方差稳定化与偏差校正技术，提升高维设置下有限样本的覆盖性能。
• 通过将信噪比重新参数化为回归误差、噪声方差和遗传力，将核心 EigenPrism 框架适配至三种不同的推断问题。
• 通过大量模拟实验与真实遗传数据集（NFBC1966）分析验证该方法，证明其在非高斯设计假设下的稳健性。

实验结果

研究问题

• RQ1 我们能否在不假设稀疏性或已知 $\sigma^2$ 的前提下，为高维线性模型（$p > n$）中回归系数向量 $\bm{\beta}$ 的 $\ell_2$-范数构建有效的置信区间？
• RQ2 当设计矩阵非多元正态分布时，EigenPrism 置信区间的有限样本覆盖性能如何？
• RQ3 相同的底层方法能否被适配以统一高维设置下对回归误差、噪声水平与遗传信噪比（遗传力）的推断？
• RQ4 在相同模型假设下，EigenPrism 置信区间的宽度与贝叶斯可信区间相比如何？
• RQ5 在 $\bm{X}$ 的高斯假设被违反时，可进行哪些诊断或稳健性检验以评估 EigenPrism 方法在实际中的有效性？

主要发现

• 在多元正态设计下，EigenPrism 在高维设置（$p > n$）中仍能实现接近名义水平的有限样本覆盖性，对 $\theta^2$ 的置信区间具有良好的覆盖性能。
• 在模拟与真实数据中，该方法实现了 95% 的置信区间覆盖，且区间宽度仅比相同模型下对应的贝叶斯基可区间宽约 5%。
• EigenPrism 对多元正态设计的偏离具有稳健性：模拟结果表明其在多种非高斯与相关设计下仍能保持良好的覆盖性能。
• 该方法成功统一了三种不同问题的推断：回归误差、噪声水平与遗传信噪比，仅需对核心框架进行微小调整。
• 在 NFBC1966 遗传数据集的分析中，EigenPrism 对遗传力的 95% 置信区间结果与既有文献估计一致（例如身高遗传力为 73.8% 和 62.5%），尽管使用的是固定效应模型而非随机效应模型。
• 该方法无需 $\sigma^2$ 知识或稀疏性假设，其有效性基于可观测的设计矩阵属性，可进行可靠性诊断检查。