[论文解读] Bayesian nonparametric Principal Component Analysis

Clément Elvira, Pierre Chainais+1 more|arXiv (Cornell University)|Sep 17, 2017

Remote-Sensing Image Classification参考文献 34被引用 5

一句话总结

本文提出了一种贝叶斯非参数主成分分析（BNP-PCA），在因子得分上使用中国餐馆过程（Indian buffet process）先验，并在Stiefel流形上对正交基施加先验，以在完全贝叶斯框架下推断潜在维度。该方法通过后验推断和马尔可夫链蒙特卡洛（MCMC）采样，实现主成分数量的自动、数据驱动确定，结合一种新估计器与柯尔莫哥洛夫-斯米尔诺夫检验，增强了维度估计的统计显著性。

ABSTRACT

Principal component analysis (PCA) is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Only few works have proposed a probabilistic approach able to infer the number of significant components. To this purpose, this paper introduces a Bayesian nonparametric principal component analysis (BNP-PCA). The proposed model projects observations onto a random orthogonal basis which is assigned a prior distribution defined on the Stiefel manifold. The prior on factor scores involves an Indian buffet process to model the uncertainty related to the number of components. The parameters of interest as well as the nuisance parameters are finally inferred within a fully Bayesian framework via Monte Carlo sampling. A study of the (in-)consistence of the marginal maximum a posteriori estimator of the latent dimension is carried out. A new estimator of the subspace dimension is proposed. Moreover, for sake of statistical significance, a Kolmogorov-Smirnov test based on the posterior distribution of the principal components is used to refine this estimate. The behaviour of the algorithm is first studied on various synthetic examples. Finally, the proposed BNP dimension reduction approach is shown to be easily yet efficiently coupled with clustering or latent factor models within a unique framework.

研究动机与目标

• 为解决PCA中主成分数量选择缺乏原则性概率方法的问题。
• 开发一种完全贝叶斯框架，联合推断潜在维度、因子得分与正交基，而无需预先指定维度。
• 基于后验分布与假设检验，提供一致且具有统计显著性的子空间维度估计器。
• 实现BNP-PCA与下游模型（如聚类或潜在因子模型）的无缝集成。

提出的方法

• 在Stiefel流形上使用非参数先验来建模主成分的正交基。
• 使用中国餐馆过程（IBP）作为因子得分的先验，以建模活跃分量数量的不确定性。
• 采用马尔可夫链蒙特卡洛（MCMC）采样实现完全贝叶斯推断方案，联合估计参数与潜在维度。
• 推导出涉及zonal多项式与矩阵超几何函数的尺度参数的边际后验分布。
• 提出一种基于后验一致性和显著性检验的子空间维度新估计器。
• 对主成分的后验分布应用柯尔莫哥洛夫-斯米尔诺夫检验，以优化维度估计。

实验结果

研究问题

• RQ1 贝叶斯非参数方法是否能在不预先指定维度的情况下，一致地推断出真实的主成分数量？
• RQ2 在所提出的模型下，潜在维度的边际最大后验估计器在渐近情况下的行为如何？
• RQ3 所提出的方法是否能在具有统计置信度的前提下，优于启发式或频率学派方法在选择主成分数量方面的表现？
• RQ4 如何利用非参数先验（如中国餐馆过程）自然地建模主成分数量的不确定性？
• RQ5 BNP-PCA在多大程度上可与层次化模型（如聚类或潜在因子模型）实现集成？

主要发现

• 潜在维度的边际最大后验估计器在本质上是不一致的，即随着样本量增加，其倾向于高估真实维度。
• 所提出的子空间维度估计器被证明是一致且具有统计显著性的，优于标准MAP估计器。
• 对主成分后验分布应用柯尔莫哥洛夫-斯米尔诺夫检验，提供了一种有效且精细的维度选择方法。
• 尺度参数的后验分布涉及矩阵超几何函数，该函数可作为PCA特征值与分量大小之间不匹配程度的度量。
• 该方法成功地与聚类和潜在因子模型在统一的贝叶斯框架内耦合，展现出灵活性与可扩展性。
• 理论分析表明，当N增加时，K=1与K=0的边际似然之比几乎必然发散，支持该模型检测非平凡结构的能力。