[论文解读] Consistent Estimation of Low-Dimensional Latent Structure in High-Dimensional Data

Xiongzhi Chen, John D. Storey|arXiv (Cornell University)|Oct 13, 2015

Bayesian Methods and Mixture Models参考文献 14被引用 12

一句话总结

该论文提出了一种一致的、非参数估计器，用于仅使用二阶矩信息从高维数据中估计低维潜在线性结构。它利用指数族分布（如泊松分布、二项分布）的二次方差函数特性，推导出一种计算高效的谱分解方法，即使在异方差性和非正态性条件下也能一致地恢复潜在变量的行空间。

ABSTRACT

We consider the problem of extracting a low-dimensional, linear latent variable structure from high-dimensional random variables. Specifically, we show that under mild conditions and when this structure manifests itself as a linear space that spans the conditional means, it is possible to consistently recover the structure using only information up to the second moments of these random variables. This finding, specialized to one-parameter exponential families whose variance function is quadratic in their means, allows for the derivation of an explicit estimator of such latent structure. This approach serves as a latent variable model estimator and as a tool for dimension reduction for a high-dimensional matrix of data composed of many related variables. Our theoretical results are verified by simulation studies and an application to genomic data.

研究动机与目标

• 开发一种仅使用二阶矩信息的一致非参数估计器，用于估计高维随机变量中的低维线性潜在结构。
• 解决在数据异方差性和非正态性条件下估计潜在变量空间的挑战，特别是在传统参数模型可能失效的高维环境中。
• 提供一种对潜在变量分布假设要求较弱的模型基潜在变量估计的稳健替代方法。
• 在基因组学等应用中实现准确的降维和探索性数据分析，其中数据通常服从泊松或二项分布等分布。
• 通过模拟和真实RNA-seq数据的应用，实证验证该方法的一致性和准确性，证明其能有效恢复真实的潜在维度和结构。

提出的方法

• 该方法从观测的高维数据矩阵 $ \mathbf{Y} $ 构造一个适当调整的 $ k^{-1} \mathbf{Y}^T \mathbf{Y} $ 矩阵，以捕捉数据的二阶结构。
• 对这一调整后的格拉姆矩阵应用谱分解，以估计潜在变量矩阵 $ \mathbf{M} $ 的行空间 $ \Pi_{\mathbf{M}} $，即低维潜在结构。
• 对于具有二次方差函数（QVF）的指数族分布，该方法通过利用这些分布中均值与方差之间的已知关系，推导出显式的一致估计器。
• 该估计器是非参数的，无需对潜在变量的联合分布建模，仅依赖于条件均值结构 $ \mathbb{E}[\mathbf{Y}|\mathbf{M}] = \boldsymbol{\Phi}\mathbf{M} $。
• 该方法被扩展至 $ \boldsymbol{\Phi} $ 为随机的情形，在温和的正则性条件下仍保持一致性。
• 采用距离度量 $ d(\mathbf{M}, \hat{\mathbf{M}}) $ 来评估估计潜在空间的准确性，尤其在模拟和真实数据研究中。

实验结果

研究问题

• RQ1 能否仅使用二阶矩信息，一致地估计高维数据中低维潜在线性结构？
• RQ2 当观测变量服从具有二次方差函数的指数族分布时，所提出的方法是否能一致地估计潜在行空间 $ \Pi_{\mathbf{M}} $？
• RQ3 在异方差性和非正态性条件下，特别是在 $ k \gg n $ 的高维环境中，该方法表现如何？
• RQ4 在有限样本中，该方法能否准确恢复潜在变量矩阵 $ \mathbf{M} $ 的真实秩 $ r $，尤其是在数据稀疏或过度离散的情况下？
• RQ5 当潜在变量的假设参数模型被错误指定时，该估计器与基于模型的替代方法相比，在稳健性和准确性方面表现如何？

主要发现

• 在温和正则性条件下，所提出的估计器即使在观测变量异方差和非正态时，也能一致地恢复潜在变量矩阵 $ \mathbf{M} $ 的行空间 $ \Pi_{\mathbf{M}} $。
• 对于具有二次方差函数的指数族分布（如泊松分布、二项分布），该方法提供了仅基于二阶矩的显式、非参数且计算高效的估计器。
• 在模拟研究中，估计的秩 $ \hat{r} $ 在真实秩 $ r = 9 $ 处一致地达到最小值，证实了该方法正确识别潜在结构维度的能力。
• 在真实RNA-seq数据上，该方法在 $ \hat{r} = 9 $ 处实现最小距离 $ d(\mathbf{M}, \hat{\mathbf{M}}) $，与设计矩阵 $ \mathbf{M} $ 的真实维度一致，展示了经验上的一致性。
• 随着变量数 $ k $ 增加，距离 $ d(\mathbf{M}, \hat{\mathbf{M}}) $ 的中位数趋于收敛，表明在高维设置下具有渐近一致性。
• 当潜在变量分布假设被违反时，该方法在性能上优于基于模型的替代方法，因为它对潜在结构的假设最少。