[论文解读] Maximally Correlated Principal Component Analysis

Soheil Feizi, David Tse|arXiv (Cornell University)|Feb 17, 2017

Blind Source Separation Techniques参考文献 26被引用 8

一句话总结

本文提出最大相关主成分分析（MCPCA），一种通过优化特征的非线性变换以最大化结果协方差矩阵的Ky Fan范数来推广PCA的非线性降维方法。MCPCA在合成数据集和真实数据集上均优于PCA及最先进方法，尤其在捕捉非线性和分类依赖关系方面表现突出。

ABSTRACT

In the era of big data, reducing data dimensionality is critical in many areas of science. Widely used Principal Component Analysis (PCA) addresses this problem by computing a low dimensional data embedding that maximally explain variance of the data. However, PCA has two major weaknesses. Firstly, it only considers linear correlations among variables (features), and secondly it is not suitable for categorical data. We resolve these issues by proposing Maximally Correlated Principal Component Analysis (MCPCA). MCPCA computes transformations of variables whose covariance matrix has the largest Ky Fan norm. Variable transformations are unknown, can be nonlinear and are computed in an optimization. MCPCA can also be viewed as a multivariate extension of Maximal Correlation. For jointly Gaussian variables we show that the covariance matrix corresponding to the identity (or the negative of the identity) transformations majorizes covariance matrices of non-identity functions. Using this result we characterize global MCPCA optimizers for nonlinear functions of jointly Gaussian variables for every rank constraint. For categorical variables we characterize global MCPCA optimizers for the rank one constraint based on the leading eigenvector of a matrix computed using pairwise joint distributions. For a general rank constraint we propose a block coordinate descend algorithm and show its convergence to stationary points of the MCPCA optimization. We compare MCPCA with PCA and other state-of-the-art dimensionality reduction methods including Isomap, LLE, multilayer autoencoders (neural networks), kernel PCA, probabilistic PCA and diffusion maps on several synthetic and real datasets. We show that MCPCA consistently provides improved performance compared to other methods.

研究动机与目标

• 为解决PCA在捕捉非线性相关性和处理分类变量方面的局限性。
• 开发一种适用于降维的、适合多变量最大相关性的扩展方法。
• 刻画MCPCA优化在联合高斯变量和分类变量下的全局最优解。
• 提出一种适用于一般分类数据的块坐标下降算法，并提供收敛性保证。
• 在多样化数据集上实证验证MCPCA相较于PCA及其他SOTA方法的优越性。

提出的方法

• MCPCA通过优化特征的非线性变换 $\phi_i(X_i)$，以最大化变换后协方差矩阵 $\mathbf{K}_{\phi(X)}$ 的前 $q$ 个特征值之和（即Ky Fan范数）。
• 优化过程受约束于每个变换变量的零均值和单位方差：$\mathbb{E}[\phi_i(X_i)] = 0$，$\mathbb{E}[\phi_i(X_i)^2] = 1$。
• 对于联合高斯变量，在秩约束下，全局最优解被表征为恒等或负恒等变换。
• 对于秩为一的分类变量，全局最优解由基于成对联合分布构建的矩阵的主特征向量导出。
• 针对一般秩约束，提出一种块坐标下降算法，并证明其收敛至优化问题的驻点。
• 通过两折交叉验证应用该方法，将学习到的变换应用于测试数据，并与PCA、Isomap、LLE、核PCA、自编码器和扩散图进行比较。

实验结果

研究问题

• RQ1 多变量最大相关性的扩展方法是否能在捕捉数据的非线性和分类依赖关系方面优于PCA？
• RQ2 MCPCA优化在联合高斯变量和分类变量下的全局最优解是什么？
• RQ3 MCPCA在真实数据集和合成数据集上相对于最先进降维方法的表现如何？
• RQ4 MCPCA是否在保留数据上保持或提升性能，表明其对过拟合具有鲁棒性？
• RQ5 MCPCA提取的前几项元特征在多大程度上能预测潜在的表型变量？

主要发现

• 在所有 $q$ 值下，MCPCA在乳腺癌和成人收入数据集上显著优于PCA，解释方差的能力更强，其他数据集上性能相当。
• 在五组具有二元表型的数据集中，MCPCA在与表型的预测相关性方面始终优于所有其他方法，包括核PCA和自编码器。
• 该方法在连续数据和分类数据上均表现出稳健性能，在实验中未出现失败案例，而LLE则发生崩溃。
• 对于联合高斯变量，MCPCA的全局最优解在秩约束下被证明为恒等或负恒等变换。
• 针对分类数据的块坐标下降算法收敛至MCPCA优化的驻点。
• MCPCA在保留数据集上表现出改进的性能，表明其具备良好的泛化能力，并能有效捕捉有意义的非线性相关性。