[论文解读] Joint Mean-Covariance Estimation via the Horseshoe with an Application in Genomic Data Analysis

Yunfan Li, Jyotishka Datta+2 more|arXiv (Cornell University)|Mar 15, 2019

Gene expression and cancer classification参考文献 31被引用 5

一句话总结

该论文提出了一种使用正态逆伽马分布和图模型正态逆伽马先验的全贝叶斯联合均值-协方差估计方法，适用于高维看似无关回归，实现了在预测变量数量上的线性时间采样。该方法通过同时收缩回归系数和精度矩阵元素，在保持稀疏性和不确定性量化的同时，显著提升了eQTL分析中的估计与预测性能。

ABSTRACT

Seemingly unrelated regression is a natural framework for regressing multiple correlated responses on multiple predictors. The model is very flexible, with multiple linear regression and covariance selection models being special cases. However, its practical deployment in genomic data analysis under a Bayesian framework is limited due to both statistical and computational challenges. The statistical challenge is that one needs to infer both the mean vector and the inverse covariance matrix, a problem inherently more complex than separately estimating each. The computational challenge is due to the dimensionality of the parameter space that routinely exceeds the sample size. We propose the use of horseshoe priors on both the mean vector and the inverse covariance matrix. This prior has demonstrated excellent performance when estimating a mean vector or inverse covariance matrix separately. The current work shows these advantages are also present when addressing both simultaneously. A full Bayesian treatment is proposed, with a sampling algorithm that is linear in the number of predictors. MATLAB code implementing the algorithm is freely available from github at https://github.com/liyf1988/HS_GHS. Extensive performance comparisons are provided with both frequentist and Bayesian alternatives, and both estimation and prediction performances are verified on a genomic data set.

研究动机与目标

• 解决在贝叶斯框架下高维基因组数据中联合均值与协方差估计所面临的统计与计算挑战。
• 开发一种可扩展的全贝叶斯方法，同时估计看似无关回归（SUR）中的稀疏回归系数与稀疏精度矩阵。
• 克服现有贝叶斯方法的局限性，这些方法通常对预测变量-响应关系施加限制性假设，或缺乏可扩展性。
• 通过具有预测变量数量线性复杂度的完整吉布斯采样器，实现不确定性量化与自动调参。

提出的方法

• 在回归系数上采用正态逆伽马先验，以在高维均值估计中诱导稀疏性与收缩。
• 对精度矩阵的逆协方差矩阵应用图模型正态逆伽马先验，以促进精度矩阵的稀疏性并建模条件独立结构。
• 将两种先验结合为统一的HS-GHS（正态逆伽马-图模型正态逆伽马）先验，用于联合估计均值与协方差参数。
• 开发一种完整吉布斯采样算法，其在预测变量数量上呈线性增长，在响应数量上呈立方增长，从而实现高效的后验探索。
• 采用重参数化策略解耦联合估计问题，促进均值与精度矩阵的共轭采样步骤。
• 在MATLAB中实现该算法，并公开发布于GitHub，以确保可复现性并促进在基因组学中的应用。

实验结果

研究问题

• RQ1 与单独估计或频率学方法相比，全贝叶斯联合估计框架在高维eQTL分析中是否能实现更优的性能？
• RQ2 当联合用于均值与精度矩阵估计时，HS-GHS先验是否保持了诸如极小极大性与最优Kullback–Leibler风险等有利的理论性质？
• RQ3 所提出的吉布斯采样器是否能在预测变量数量增加时保持高效性，同时在高维设置中维持准确的后验推断？
• RQ4 与分别建模响应变量相比，联合建模均值与协方差在估计与预测精度方面有何提升？
• RQ5 正态逆伽马先验的全局-局部结构对eQTL定位中的不确定性量化与假发现率控制有何影响？

主要发现

• 所提出的HS-GHS方法在预测变量数量上实现了线性计算复杂度，使其可扩展至高维基因组数据。
• 与频率学方法及贝叶斯竞争方法相比，该方法在真实eQTL数据集上的估计与预测性能显著提升，尤其在识别真实稀疏关联方面表现突出。
• 全贝叶斯框架提供了良好的频率学覆盖，用于不确定性量化，后验校准结果已验证此点。
• 对均值采用正态逆伽马先验，对精度矩阵采用图模型正态逆伽马先验，能共同保持稀疏性，并适应基因表达数据中复杂的依赖结构。
• 理论分析表明，HS-GHS后验的后验集中率在对数因子范围内达到最优，支持其在高维情形下的相合性。
• 实证比较显示，该方法优于现有贝叶斯方法，后者通常假设所有预测变量影响所有响应或无一影响，而本方法允许任意稀疏模式。