[论文解读] Doubly Accelerated Methods for Faster CCA and Generalized Eigendecomposition

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jul 20, 2016

Blind Source Separation Techniques被引用 32

一句话总结

本文提出了 LazyEV 和 LazyCCA，这两种是针对 k-广义特征分解（k-GenEV）与 k-典型相关分析（k-CCA）的双重加速算法，其运行时间与 √κ（条件数）和 1/√gap（特征值间隔）呈线性关系，或在无间隔设定下与 1/√ε 呈线性关系。这些方法结合了加速随机方差缩减与隐式 Hessian 近似，实现了比以往工作更快的收敛速度，同时保持了输入规模和 k 的线性依赖关系。

ABSTRACT

We study $k$-GenEV, the problem of finding the top $k$ generalized eigenvectors, and $k$-CCA, the problem of finding the top $k$ vectors in canonical-correlation analysis. We propose algorithms $\\mathtt{LazyEV}$ and $\\mathtt{LazyCCA}$ to solve the two problems with running times linearly dependent on the input size and on $k$. Furthermore, our algorithms are DOUBLY-ACCELERATED: our running times depend only on the square root of the matrix condition number, and on the square root of the eigengap. This is the first such result for both $k$-GenEV or $k$-CCA. We also provide the first gap-free results, which provide running times that depend on $1/\\sqrt{\\varepsilon}$ rather than the eigengap.

研究动机与目标

• 解决 k-GenEV 与 k-CCA 问题中缺乏在条件数（κ）与特征值间隔（gap）上表现良好的可证明高效算法的问题。
• 开发首个针对 k-GenEV 与 k-CCA 的双重加速方法，其运行时间在 √κ 和 1/√gap 上呈线性关系。
• 为这些问题提供首个无间隔结果，收敛速率依赖于 1/√ε 而非 1/√gap。
• 将加速随机方法扩展至 k-CCA 与 k-GenEV，实现性能始终不慢于非加速或非随机方法。

提出的方法

• 基于加速随机方差缩减梯度（SVRG）方法，提出 LazyEV 与 LazyCCA 算法，用于求解 k-GenEV 与 k-CCA 问题。
• 通过矩阵平移（λB - A）实现隐式 Hessian 近似，避免显式计算 A 与 B，从而高效计算 Hessian-向量乘积。
• 将加速 SVRG 应用于最小化非凸目标函数之和 f(z) = (1/n)∑fi(z)，其中每个 fi(z) 编码 CCA 或 GenEV 的子问题。
• 采用递归降维策略，按顺序计算前 k 个向量，通过投影到已找到的向量上保持正交性约束。
• 提出一种新颖的分析框架，将目标函数的强凸性参数以 σkδλmin(B)/48 的形式界定，从而实现加速。
• 推导出运行时间上界，k-GenEV 为 eO(knnz(B)√κ/√gap + knnz(A) + k²d/√gap)，k-CCA 为 eO(knnz(X,Y)(1+√κ′/n) + k²d/√gap)，无间隔变体则以 ε 替代 gap。

实验结果

研究问题

• RQ1 我们能否设计一种 k-GenEV 算法，其运行时间仅随 √κ 和 1/√gap 增长，而非随 κ 和 1/gap 线性增长？
• RQ2 是否可能实现 k-GenEV 与 k-CCA 的无间隔收敛，使运行时间依赖于 1/√ε 而非 1/√gap？
• RQ3 我们能否将双重加速方法扩展至随机设置，使运行时间依赖于 (1+√κ′/n) 而非 √κ，其中 κ′ 为行归一化后的条件数？
• RQ4 我们能否在处理广义特征分解与 CCA 问题时保持加速特性，且性能始终不慢于非加速或非随机方法？

主要发现

• 所提出的 LazyEV 算法在 k-GenEV 上实现运行时间 eO(knnz(B)√κ/√gap + knnz(A) + k²d/√gap)，对 √κ 和 1/√gap 呈双重加速依赖。
• 对于 k-CCA，LazyCCA 的运行时间为 eO(knnz(X,Y)(1+√κ′/n) + k²d/√gap)，具有相同的双重加速缩放与随机效率。
• 这些算法为 k-GenEV 与 k-CCA 提供了首个无间隔结果，运行时间分别缩放为 eO(knnz(B)√κ/√ε + knnz(A) + k²d/√ε) 与 eO(knnz(X,Y)(1+√κ′/n) + k²d/√ε)。
• 分析证明，目标函数的 Hessian 矩阵具有至少 σkδλmin(B)/48 的强凸性参数，从而可通过 SVRG 实现加速。
• 运行时间始终不慢于非加速或非随机方法，因为 (1+√κ′/n) ≤ O(√κ)，确保随机加速始终有益。
• 这些算法是首个在 k-GenEV 与 k-CCA 上同时实现双重加速与无间隔收敛的算法，解决了该领域长期存在的开放问题。