[论文解读] Generalized probabilistic principal component analysis of correlated data

Mengyang Gu, Weining Shen|arXiv (Cornell University)|Aug 31, 2018

Spatial and Panel Data Analysis被引用 18

一句话总结

该论文提出广义概率主成分分析（GPPCA），这是一种概率PCA的新扩展，通过使用高斯过程对潜在因子建模，以处理相关联的多变量输出。通过推导因子载荷的闭式最大边际似然估计器，并利用精度矩阵的结构，GPPCA 实现了线性计算复杂度，在高维相关数据设置下，显著提升了估计精度和计算效率，优于传统PPCA及其他方法。

ABSTRACT

Principal component analysis (PCA) is a well-established tool in machine learning and data processing. The principal axes in PCA were shown to be equivalent to the maximum marginal likelihood estimator of the factor loading matrix in a latent factor model for the observed data, assuming that the latent factors are independently distributed as standard normal distributions. However, the independence assumption may be unrealistic for many scenarios such as modeling multiple time series, spatial processes, and functional data, where the outcomes are correlated. In this paper, we introduce the generalized probabilistic principal component analysis (GPPCA) to study the latent factor model for multiple correlated outcomes, where each factor is modeled by a Gaussian process. Our method generalizes the previous probabilistic formulation of PCA (PPCA) by providing the closed-form maximum marginal likelihood estimator of the factor loadings and other parameters. Based on the explicit expression of the precision matrix in the marginal likelihood that we derived, the number of the computational operations is linear to the number of output variables. Furthermore, we also provide the closed-form expression of the marginal likelihood when other covariates are included in the mean structure. We highlight the advantage of GPPCA in terms of the practical relevance, estimation accuracy and computational convenience. Numerical studies of simulated and real data confirm the excellent finite-sample performance of the proposed approach.

研究动机与目标

• 为解决传统概率主成分分析（PPCA）在建模时间序列、空间过程和函数数据等相关联多变量输出时，假设潜在因子独立的局限性。
• 开发一种广义概率主成分分析（GPPCA）框架，将每个潜在因子建模为高斯过程，从而在输入间实现灵活的相关结构。
• 推导在因子过程共享或独立协方差函数下，因子载荷矩阵的闭式最大边际似然估计器。
• 通过证明协方差矩阵的逆具有显式形式，将计算复杂度降低至输出变量数量的线性级别，从而确保计算效率。
• 通过模拟和真实世界气温数据分析，展示该方法的实际相关性、估计精度和可扩展性。

提出的方法

• GPPCA通过将因子载荷矩阵的每一列建模为高斯过程的实现，扩展了PPCA，从而允许潜在因子在输入间存在相关性。
• 该方法假设因子载荷向量正交以保证可识别性，并在因子过程协方差函数共享时，推导出因子载荷最大边际似然估计的闭式解。
• 当协方差函数不同时，估计问题转化为在Stiefel流形上的优化问题，该问题通过Wen和Yin（2013）提出的快速数值算法求解。
• 边际似然以闭式表达，输出分布的精度矩阵具有显式结构，从而实现线性时间计算。
• 该方法在均值结构中纳入协变量，并在这些情况下提供了边际似然的闭式表达式。
• 通过推导出的后验分布计算预测分布，实现对保留数据的高效预测并量化不确定性。

实验结果

研究问题

• RQ1 能否通过将潜在因子建模为高斯过程，将概率主成分分析框架推广以处理相关联的多变量输出？
• RQ2 与标准PPCA及其他方法相比，GPPCA中的闭式最大边际似然估计器是否在保持估计精度的同时降低了计算复杂度？
• RQ3 当真实因子过程相关时，GPPCA在有限样本下，特别是在高维设置下的表现如何？
• RQ4 潜在因子过程的共享与独立协方差函数对估计和预测性能有何影响？
• RQ5 在真实世界时空数据上，GPPCA与GaSP、随机森林和矩阵正态模型等替代方法相比，在预测精度和计算可扩展性方面表现如何？

主要发现

• 由于精度矩阵具有显式形式，GPPCA在输出变量数量上实现了O(n)的线性计算复杂度，从而可在大规模数据上实现高效计算。
• 数值研究表明，随着样本量增加，GPPCA的平均均方误差（AvgMSE）比Ind GP和PP GP下降得更快，表明其具有有利的有限样本收敛特性。
• 在网格化气温数据分析中，GPPCA在预测精度上优于PPCA、GaSP、随机森林和矩阵正态模型，尤其在建模时间和空间相关性方面表现更优。
• 该方法成功捕捉了气温异常数据中的时间趋势和空间相关性，其中参数估计基于439×240子集，而完整预测使用369,360×1的全数据集。
• 闭式边际似然与在Stiefel流形上的高效优化相结合，使GPPCA在高维输出下计算上可行，即使完整协方差矩阵求逆在计算上不可行。
• 协变量在均值结构中的引入由闭式边际似然支持，增强了模型灵活性，同时不牺牲计算效率。