[论文解读] An Augmented Lagrangian Approach for Sparse Principal Component Analysis

Zhaosong Lu, Yong Zhang|ArXiv.org|Jul 13, 2009

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种新型稀疏PCA公式，能够在最大化解释方差的同时，生成稀疏、近乎不相关的主成分，并保持载荷向量的正交性。该方法引入了一种带有非单调梯度子问题的增广拉格朗日法，实现了全局收敛，并在合成数据、随机数据和真实数据上，于方差解释、低相关性和正交性方面优于现有方法。

ABSTRACT

Principal component analysis (PCA) is a widely used technique for data analysis and dimension reduction with numerous applications in science and engineering. However, the standard PCA suffers from the fact that the principal components (PCs) are usually linear combinations of all the original variables, and it is thus often difficult to interpret the PCs. To alleviate this drawback, various sparse PCA approaches were proposed in literature [15, 6, 17, 28, 8, 25, 18, 7, 16]. Despite success in achieving sparsity, some important properties enjoyed by the standard PCA are lost in these methods such as uncorrelation of PCs and orthogonality of loading vectors. Also, the total explained variance that they attempt to maximize can be too optimistic. In this paper we propose a new formulation for sparse PCA, aiming at finding sparse and nearly uncorrelated PCs with orthogonal loading vectors while explaining as much of the total variance as possible. We also develop a novel augmented Lagrangian method for solving a class of nonsmooth constrained optimization problems, which is well suited for our formulation of sparse PCA. We show that it converges to a feasible point, and moreover under some regularity assumptions, it converges to a stationary point. Additionally, we propose two nonmonotone gradient methods for solving the augmented Lagrangian subproblems, and establish their global and local convergence. Finally, we compare our sparse PCA approach with several existing methods on synthetic, random, and real data, respectively. The computational results demonstrate that the sparse PCs produced by our approach substantially outperform those by other methods in terms of total explained variance, correlation of PCs, and orthogonality of loading vectors.

研究动机与目标

• 为解决标准PCA中主成分为所有变量的稠密线性组合而导致的可解释性问题。
• 开发一种稀疏PCA方法，以保持标准PCA的关键特性：不相关的主成分、正交的载荷向量以及最大化的解释方差。
• 克服现有稀疏PCA方法在正交性、不相关性或方差最大化方面存在的局限性。
• 设计一种针对非光滑、约束型稀疏PCA问题的全局收敛优化框架。

提出的方法

• 提出一种新型稀疏PCA公式，通过在载荷向量中施加稀疏性，同时最大化总解释方差，并保持主成分的近乎不相关性和正交性。
• 为求解由稀疏PCA公式引出的一类非光滑约束优化问题，开发了一种新颖的增广拉格朗日法。
• 在较弱的正则性假设下，建立了增广拉格朗日法全局收敛至可行点，局部收敛至驻点的理论结果。
• 提出了两种用于求解增广拉格朗日子问题的非单调梯度方法，并证明了其全局与局部收敛性。
• 利用增广拉格朗日对偶函数处理稀疏PCA问题中的非光滑性与非凸性。
• 将该方法应用于求解重构后的稀疏PCA问题（公式3），该问题在稀疏性、正交性与方差最大化之间实现平衡。

实验结果

研究问题

• RQ1 能否设计一种稀疏PCA公式，在实现稀疏性与高解释方差的同时，保持载荷向量的正交性与主成分的近乎不相关性？
• RQ2 所提出的增广拉格朗日方法是否能对非光滑、非凸的稀疏PCA问题实现全局收敛至可行解？
• RQ3 非单调梯度方法是否能有效求解增广拉格朗日子问题，并保证收敛性？
• RQ4 当真实协方差结构为稀疏且估计良好时，该方法是否能够恢复出稀疏、不相关的主成分，并实现高方差解释？
• RQ5 在稀疏性、相关性、正交性与解释方差方面，该方法与现有稀疏PCA技术相比表现如何？

主要发现

• 所提出的ALSPCA方法在Pitprops数据上的总解释方差显著更高（69.55%），优于SPCA（66.21%）、rSVD（67.04%）、DSPCA（60.97%）和GPower $l_1$（64.15%）。
• ALSPCA生成的主成分近乎不相关，相关性仅为0.082（ALSPCA-1），远低于SPCA（0.395）与DSPCA（0.573）。
• 载荷向量的正交性得以保持，非正交性值低至0.03，而rSVD为14.76，DSPCA为13.63。
• ALSPCA-3实现了完全正交性（非正交性 = 0.00），同时保持了较高的解释方差（65.97%）与较低的相关性（0.222）。
• 在较弱假设下，该方法能全局收敛至可行点，局部收敛至驻点，表现出强鲁棒性与理论严谨性。
• 在合成数据、随机数据与真实数据上的计算结果表明，ALSPCA在所有关键指标（解释方差、相关性与正交性）上均持续优于现有方法。