[论文解读] Large Covariance Estimation for Compositional Data Via Composition-Adjusted Thresholding

Yuanpei Cao, Wei Lin+1 more|arXiv (Cornell University)|Jan 18, 2016

Geochemistry and Geologic Mapping参考文献 16被引用 10

一句话总结

本文提出了一种用于高维组成数据（如微生物组数据）的大协方差矩阵估计的组合调整阈值法（COAT），通过利用中心化对数比变换和基协方差矩阵的自适应阈值化来实现。该方法在稀疏性假设下保证了一致性估计，实现了谱范数下的最优收敛速率，并能准确恢复支持集，在模拟和真实数据分析中均优于朴素的阈值化方法。

ABSTRACT

High-dimensional compositional data arise naturally in many applications such as metagenomic data analysis. The observed data lie in a high-dimensional simplex, and conventional statistical methods often fail to produce sensible results due to the unit-sum constraint. In this article, we address the problem of covariance estimation for high-dimensional compositional data, and introduce a composition-adjusted thresholding (COAT) method under the assumption that the basis covariance matrix is sparse. Our method is based on a decomposition relating the compositional covariance to the basis covariance, which is approximately identifiable as the dimensionality tends to infinity. The resulting procedure can be viewed as thresholding the sample centered log-ratio covariance matrix and hence is scalable for large covariance matrices. We rigorously characterize the identifiability of the covariance parameters, derive rates of convergence under the spectral norm, and provide theoretical guarantees on support recovery. Simulation studies demonstrate that the COAT estimator outperforms some naive thresholding estimators that ignore the unique features of compositional data. We apply the proposed method to the analysis of a microbiome dataset in order to understand the dependence structure among bacterial taxa in the human gut.

研究动机与目标

• 解决在单纯形约束下标准统计方法失效的高维组成数据协方差估计挑战。
• 克服微生物组及其他组成数据集中由单纯形约束引发的虚假相关性问题。
• 开发一种可扩展且理论基础坚实的估计方法，同时考虑组成结构并实现潜在基协方差的稀疏性。
• 为高维渐近下估计协方差矩阵的收敛速率和支撑集恢复提供理论保证。
• 实现对人类肠道微生物组数据中微生物共现与共排斥模式的有效推断。

提出的方法

• 提出一种将组成协方差与基协方差矩阵关联的分解方法，随着维度增加，该基协方差矩阵近似可识别。
• 对样本中心化对数比（clr）协方差矩阵应用自适应阈值化以估计基协方差，确保稀疏性与一致性。
• 采用基于估计方差和尾部界限的数据依赖性阈值规则，以控制估计误差并提升有限样本性能。
• 通过使用浓度不等式有界估计误差的 $L_1$-范数，建立谱范数下的理论收敛速率。
• 引入两阶段事件论证：首先控制clr估计量与真实基协方差之间的偏差；其次控制阈值规则与真实协方差之间的偏差。
• 利用clr变换数据与潜在基协方差之间的关系，确保在高维设定下具有可识别性与一致性。

实验结果

研究问题

• RQ1 在单纯形约束下，如何一致地估计高维组成数据的协方差矩阵？
• RQ2 当真实基协方差为稀疏时，组成数据中协方差估计的理论收敛速率是什么？
• RQ3 能否将为标准高维协方差估计设计的阈值程序适配至组成数据，同时保持理论保证？
• RQ4 在微生物组数据中，忽略组成结构在多大程度上会导致协方差估计的偏差或不一致？
• RQ5 在高维设定下，所提出的方法能否以高概率恢复协方差矩阵的真实支撑集（即检测非零关联）？

主要发现

• COAT估计量在谱范数下的收敛速率为 $ O_p\big( s_0(p) \big( \frac{\text{log } p}{n} \big)^{(1-q)/2} \big) $，其中 $ s_0(p) $ 为真实基协方差的稀疏度。
• 该方法以概率 $ 1 - O(p^{-C_3}) $ 实现一致的支撑集恢复，意味着以高概率正确识别协方差矩阵中的非零元素。
• 模拟研究显示，COAT在估计精度和支撑集恢复方面显著优于对原始组成协方差矩阵进行朴素阈值化的处理方法。
• 在低微生物多样性与高维性常见的微生物组数据中，COAT估计量仍保持低偏差与高精度。
• 在真实微生物组数据集中，COAT成功揭示了肠道细菌类群之间具有生物学合理性的共现与共排斥模式。
• 理论分析证实，该方法对组成结构具有鲁棒性，误差界能随维度与样本量适当缩放。