[论文解读] Alternating Maximization: Unifying Framework for 8 Sparse PCA Formulations and Efficient Parallel Codes

Peter Richtárik, Majid Jahani+2 more|arXiv (Cornell University)|Dec 17, 2012

Spectroscopy and Chemometric Analyses被引用 9

一句话总结

本文提出了一种统一的交替最大化（AM）框架，用于求解八种结合L2/L1方差度量与L0/L1稀疏性诱导范数的稀疏PCA公式，通过约束或惩罚形式实现。该方法与GPower等价，可在单核、多核、GPU及集群架构上实现高效并行计算，实现高达100倍的加速，并在不到一分钟内求解357 GB的数据问题。

ABSTRACT

Given a multivariate data set, sparse principal component analysis (SPCA) aims to extract several linear combinations of the variables that together explain the variance in the data as much as possible, while controlling the number of nonzero loadings in these combinations. In this paper we consider 8 different optimization formulations for computing a single sparse loading vector; these are obtained by combining the following factors: we employ two norms for measuring variance (L2, L1) and two sparsity-inducing norms (L0, L1), which are used in two different ways (constraint, penalty). Three of our formulations, notably the one with L0 constraint and L1 variance, have not been considered in the literature. We give a unifying reformulation which we propose to solve via a natural alternating maximization (AM) method. We show the the AM method is nontrivially equivalent to GPower (Journ\\'{e}e et al; JMLR 11:517--553, 2010) for all our formulations. Besides this, we provide 24 efficient parallel SPCA implementations: 3 codes (multi-core, GPU and cluster) for each of the 8 problems. Parallelism in the methods is aimed at i) speeding up computations (our GPU code can be 100 times faster than an efficient serial code written in C++), ii) obtaining solutions explaining more variance and iii) dealing with big data problems (our cluster code is able to solve a 357 GB problem in about a minute).

研究动机与目标

• 统一八种不同的稀疏PCA公式，这些公式在方差度量（L2、L1）和稀疏性诱导范数（L0、L1）上有所不同，且以约束或惩罚形式存在。
• 开发一种单一、可扩展的算法——交替最大化（AM）——以统一求解所有八种公式。
• 在不同硬件平台（CPU、GPU、集群）上实现高效并行化，以加速计算并处理大规模数据。
• 通过引入多起始点全局化策略，提升解的质量，从而增加可解释的方差。
• 在集群实现下，展示该框架在357 GB密集数据矩阵上的可扩展性。

提出的方法

• 将稀疏PCA建模为在可行集X上的最大化问题，目标函数结合L2或L1方差与L0或L1稀疏性诱导项。
• 应用交替最大化（AM）方法，通过在载荷向量和辅助变量之间迭代优化，统一求解所有八种公式。
• 证明当应用于适当构造的凸函数时，AM在数学上等价于GPower方法，从而保证收敛性和最优性。
• 使用CBLAS、OpenMP（多核）、CuBLAS（GPU）和MPI/PBLAS（集群）实现并行版本，以支持高性能计算。
• 集成多起始点全局化策略，以跳出局部最优解，寻找可解释更多方差的解。
• 通过高效内存访问和内核优化（如GPU上的Thrust）最大化硬件利用率，实现高速加速。

实验结果

研究问题

• RQ1 能否通过单一算法框架统一八种在方差测量和稀疏性施加方式上各不相同的稀疏PCA公式？
• RQ2 交替最大化（AM）在所有公式中是否与现有方法（如GPower）等价？其是否保持收敛性和最优性？
• RQ3 AM的并行实现是否能在不同架构（CPU、GPU、集群）上实现显著加速，同时保持解的质量？
• RQ4 多起始点全局化策略是否相比单起始方法能提升可解释方差？
• RQ5 该框架是否能扩展到超大规模数据集，如357 GB的密集矩阵，并在合理时间内求解？

主要发现

• 所提出的交替最大化（AM）框架统一了全部八种稀疏PCA公式，且在所有情况下AM在数学上等价于GPower方法。
• GPU优化实现相比高度优化的串行C++代码，最高实现100倍加速，显著提升了大规模问题的计算效率。
• 集群实现成功在不到一分钟内求解357 GB的全密集数据矩阵，展示了在大规模数据分析中的可扩展性。
• 多起始点全局化策略通过探索多个初始解，提升了可解释方差，从而改善了解的质量。
• 多核与GPU代码在每个起始点上相比串行执行，最高实现两个数量级的加速，显著缩短了计算时间。
• 在八种公式中，有三种——特别是L1方差结合L0或L1稀疏性约束的公式——此前在文献中尚未被探索，拓展了稀疏PCA的理论与实践范围。