[论文解读] Globally Convergent Stochastic Optimization for Canonical Correlation Analysis.

Weiran Wang, Jialei Wang+1 more|arXiv (Cornell University)|Apr 7, 2016

Stochastic Gradient Optimization Techniques参考文献 20被引用 6

一句话总结

本文提出了一种全局收敛的随机优化算法，用于典型相关分析（CCA），通过交替最小二乘法和近似随机梯度方法求解非凸、非解耦的目标函数。该方法在时间复杂度和实际性能方面显著优于先前的方法。

ABSTRACT

We study the stochastic optimization of canonical correlation analysis (CCA), whose objective is nonconvex and does not decouple over training samples. Although several stochastic optimization algorithms have been recently proposed to solve this problem, no global convergence guarantee was provided by any of them. Based on the alternating least squares formulation of CCA, we propose a globally convergent stochastic algorithm, which solves the resulting least squares problems approximately to sufficient accuracy with state-of-the-art stochastic gradient methods for convex optimization. We provide the overall time complexity of our algorithm which significantly improves upon that of previous work. Experimental results demonstrate the superior performance of our algorithm.

研究动机与目标

• 解决现有CCA随机优化方法缺乏全局收敛性保证的问题。
• 开发一种CCA的全局收敛算法，其目标函数在训练样本上为非凸且不可分解。
• 通过高效近似求解最小二乘子问题，实现相比先前随机CCA方法更优的时间复杂度。
• 在保持真实世界数据集实际效率的同时，提供理论收敛保证。

提出的方法

• 将CCA重新表述为交替最小二乘问题，以支持迭代优化。
• 应用最先进的随机梯度方法，以足够高的精度近似求解所得的凸子问题。
• 算法在两组典型向量之间交替优化，确保收敛至临界点。
• 理论分析在较弱条件下建立了全局收敛性，利用了交替最小二乘法的结构特性。
• 分析了时间复杂度，表明其显著优于先前的随机CCA方法。

实验结果

研究问题

• RQ1 尽管目标函数具有非凸性和非分解性，能否设计一种CCA的随机优化算法实现全局收敛？
• RQ2 为确保全局收敛，求解子问题所需的最优精度水平是什么？
• RQ3 与现有随机CCA方法相比，所提算法的时间复杂度如何？
• RQ4 该算法在真实世界数据集上的实际性能表现如何？

主要发现

• 所提算法实现了CCA的全局收敛，解决了先前随机方法的关键局限性。
• 该算法的时间复杂度显著低于先前的随机CCA方法。
• 实验结果表明，该算法在基准数据集上的收敛速度和解的质量方面均表现出优越性能。
• 通过近似求解子问题，该方法在保持理论收敛保证的同时，实现了实际效率。