[论文解读] Finding Linear Structure in Large Datasets with Scalable Canonical Correlation Analysis

Zhuang Ma, Yichao Lu+1 more|arXiv (Cornell University)|Jun 26, 2015

Stochastic Gradient Optimization Techniques参考文献 30被引用 36

一句话总结

本文提出AppGrad，一种可扩展且内存高效的大型典型相关分析（CCA）算法，将CCA重新表述为非凸优化问题。通过使用增强近似梯度方案，AppGrad避免了昂贵的矩阵求逆和白化步骤，实现了最优存储复杂度O(k(p₁ + p₂))，并支持随机和在线优化，适用于流数据和大规模数据集，在相关性捕捉方面显著降低了计算成本，优于经典方法和启发式方法。

ABSTRACT

Canonical Correlation Analysis (CCA) is a widely used spectral technique for finding correlation structures in multi-view datasets. In this paper, we tackle the problem of large scale CCA, where classical algorithms, usually requiring computing the product of two huge matrices and huge matrix decomposition, are computationally and storage expensive. We recast CCA from a novel perspective and propose a scalable and memory efficient Augmented Approximate Gradient (AppGrad) scheme for finding top $k$ dimensional canonical subspace which only involves large matrix multiplying a thin matrix of width $k$ and small matrix decomposition of dimension $k imes k$. Further, AppGrad achieves optimal storage complexity $O(k(p_1+p_2))$, compared with classical algorithms which usually require $O(p_1^2+p_2^2)$ space to store two dense whitening matrices. The proposed scheme naturally generalizes to stochastic optimization regime, especially efficient for huge datasets where batch algorithms are prohibitive. The online property of stochastic AppGrad is also well suited to the streaming scenario, where data comes sequentially. To the best of our knowledge, it is the first stochastic algorithm for CCA. Experiments on four real data sets are provided to show the effectiveness of the proposed methods.

研究动机与目标

• 解决经典CCA算法在大规模、高维数据集中的计算和存储瓶颈问题。
• 开发一种内存高效的经典CCA替代方法，避免显式计算和存储完整的白化矩阵。
• 为CCA实现在线和随机优化，以处理流数据并减少数据密集型环境下的运行时间。
• 提供一个灵活的框架，通过简单修改即可引入结构约束（如稀疏性）。
• 在经典批处理算法因计算不可行而失效的真实世界数据集中，展示优越性能。

提出的方法

• 将CCA重新表述为非凸优化问题，以避免直接计算大型白化矩阵。
• 提出增强近似梯度（AppGrad）方案，仅需计算与一个k×k小矩阵的矩阵乘积及小规模k×k SVD。
• 通过消除对完整p₁²和p₂²白化矩阵的存储需求，实现最优存储复杂度O(k(p₁ + p₂))。
• 将AppGrad扩展为随机变体，以小批量方式处理数据，支持在线学习和流式应用。
• 在AppGrad框架中使用随机SVD，实现高效的大规模主奇异值分解。
• 在梯度步骤与归一化步骤之间引入稀疏性诱导的阈值化步骤，以促进稀疏典型向量的生成。

实验结果

研究问题

• RQ1 CCA能否被重新表述为一阶优化问题，以避免昂贵的矩阵求逆和白化步骤？
• RQ2 随机AppGrad算法是否在显著降低计算成本的同时，实现与批处理方法相当的相关性捕捉能力？
• RQ3 AppGrad能否高效应用于经典批处理CCA不可行的流式或大规模数据集？
• RQ4 与启发式CCA变体（如非白化、对角白化、PCA-CCA）相比，AppGrad在捕捉典型相关性方面表现如何？
• RQ5 能否在不牺牲计算效率的前提下，自然地将稀疏性等结构约束整合到AppGrad框架中？

主要发现

• 在Mediamill、MNIST和Penn Tree Bank数据集上，随机AppGrad实现的典型相关性捕获比例（PCC）与批处理AppGrad几乎相同，但计算成本显著降低。
• 在URL声誉数据集上，由于内存和运行时间限制，经典CCA失效，而随机AppGrad捕捉的相关性显著多于启发式方法（如NW-CCA、DW-CCA和PCA-CCA）。
• 随着数据规模增大，随机AppGrad相对于批处理AppGrad的性能优势更加明显，展现出显著的可扩展性优势。
• 随机AppGrad算法收敛至高质量解，总相关性捕获量随迭代次数稳步增加，表明其具备有效的在线学习能力。
• 引入阈值化的AppGrad可实现稀疏典型向量估计，为缓慢的半定规划或启发式方法提供实用替代方案。
• 该方法实现了最优存储复杂度O(k(p₁ + p₂))，相比经典方法O(p₁² + p₂²)的存储需求有显著改进。