[论文解读] Efficient Globally Convergent Stochastic Optimization for Canonical Correlation Analysis

Weiran Wang, Jialei Wang+2 more|arXiv (Cornell University)|Apr 7, 2016

Blind Source Separation Techniques被引用 5

一句话总结

本文提出了两种全局收敛的随机优化算法，用于典型相关分析（CCA）——交替最小二乘法（ALS）与位移-预条件法（SI）——将非凸 CCA 问题转化为一系列近似求解的最小二乘子问题。与以往工作相比，该方法在时间复杂度上有所改进，并首次为随机 CCA 算法提供了全局收敛性保证。

ABSTRACT

We study the stochastic optimization of canonical correlation analysis (CCA), whose objective is nonconvex and does not decouple over training samples. Although several stochastic gradient based optimization algorithms have been recently proposed to solve this problem, no global convergence guarantee was provided by any of them. Inspired by the alternating least squares/power iterations formulation of CCA, and the shift-and-invert preconditioning method for PCA, we propose two globally convergent meta-algorithms for CCA, both of which transform the original problem into sequences of least squares problems that need only be solved approximately. We instantiate the meta-algorithms with state-of-the-art SGD methods and obtain time complexities that significantly improve upon that of previous work. Experimental results demonstrate their superior performance.

研究动机与目标

• 解决现有基于随机梯度的 CCA 算法缺乏全局收敛性保证的问题。
• 为大规模 CCA 开发高效的随机优化方法，利用数据稀疏性并避免显式计算协方差矩阵。
• 将非凸、带约束的 CCA 目标函数转化为一系列可近似求解的最小二乘问题序列。
• 与以往的随机 CCA 方法相比，实现更快的收敛速度与更优的时间复杂度。
• 在奇异值间隙条件下，确保理论上的全局收敛性。

提出的方法

• 将 CCA 建模为广义特征值问题，并利用交替最小二乘法（ALS）框架，通过固定一个视图来迭代优化另一个视图。
• 应用位移-预条件法（SI）将 CCA 问题重述为一个位移特征值问题，从而支持类似幂迭代的高效更新。
• 在两种元算法中使用近似最小二乘求解器（如 SGD、SVRG、AGD），并通过条件数与奇异值间隙控制收敛性。
• 引入一种基于降维的策略，通过确保位移参数始终与主特征值保持有界距离，以维持全局收敛性。
• 在最小二乘子问题中引入方差减少技术（如 SVRG），以加速收敛。
• 基于与最优典型向量的内积，定义一种基于对齐度的收敛准则。

实验结果

研究问题

• RQ1 尽管目标函数具有非凸性和耦合性，随机 CCA 算法能否实现全局收敛？
• RQ2 CCA 问题能否被重述为一系列适合高效随机近似的最小二乘问题？
• RQ3 在标准假设下，全局收敛的随机 CCA 算法的时间复杂度是多少？
• RQ4 与以往的随机 CCA 方法相比，所提算法在收敛速度与计算效率方面表现如何？
• RQ5 预条件法与方差减少技术的使用能否在随机 CCA 中实现可证明的更快收敛？

主要发现

• 所提出的 ALS 与 SI 元算法在正奇异值间隙条件下，对随机 CCA 实现了全局收敛。
• 算法的时间复杂度相比以往工作显著提升，主导项为 $\tilde{\mathcal{O}}\left(dN\tilde{\kappa}\frac{\rho_1^2}{\rho_1^2 - \rho_2^2} \log(1/\eta)\right)$，其中 $\tilde{\kappa}$ 有界于最小二乘问题的条件数。
• 在元算法中使用加速梯度法（AGD）与 SVRG 可实现更快收敛，尤其当 $\tilde{\kappa} > N$ 时效果更显著。
• 在 Mediamill、JW11 与 MNIST 数据集上的实验结果表明，算法在收敛速度与对最优解的对齐度方面表现更优。
• 算法在时间上对数据规模与维度的依赖关系更优，实现 $\eta$-次优对齐，理论与实践中均优于 s-AppGrad 与 CCALin。
• 理论分析表明，收敛速率依赖于奇异值间隙 $\Delta = \rho_1 - \rho_2$，当间隙较大时收敛更快。