[论文解读] Efficient coordinate-wise leading eigenvector computation

Jialei Wang, Weiran Wang+2 more|arXiv (Cornell University)|Feb 25, 2017

Adaptive Control of Nonlinear Systems被引用 9

一句话总结

该论文提出了一种全局收敛的坐标逐次算法，用于计算大规模对称矩阵的主特征向量，结合了位移-逆变换与凸最小二乘子问题上的坐标下降法。该方法实现了线性收敛，运行时间优于幂法，与Lanczos方法相当，尤其在特征值谱衰减缓慢的情况下表现更优，并且在关键变体中实现了对逆特征间隙的平方根依赖性。

ABSTRACT

We develop and analyze efficient "coordinate-wise" methods for finding the leading eigenvector, where each step involves only a vector-vector product. We establish global convergence with overall runtime guarantees that are at least as good as Lanczos's method and dominate it for slowly decaying spectrum. Our methods are based on combining a shift-and-invert approach with coordinate-wise algorithms for linear regression.

研究动机与目标

• 开发高效、全局收敛的坐标逐次方法，用于主特征向量计算，避免昂贵的矩阵-向量乘积。
• 克服先前坐标逐次方法的局限性，例如需要大规模更新集合或依赖强初始化假设的局部收敛性。
• 实现与Lanczos方法相当或更优的收敛速率，特别是在特征值谱衰减缓慢的情况下。
• 通过仅依赖向量-向量内积，避免存储完整矩阵，实现内存高效的计算。

提出的方法

• 利用位移-逆变换技术，将主特征向量问题转化为一系列凸最小二乘问题。
• 对每个最小二乘子问题应用坐标下降法，实现每轮迭代中高效的单坐标更新。
• 采用有理论依据的坐标选择规则，具备已知的收敛保证，确保全局收敛。
• 使用一种变体（SI-GSL），其收敛速率依赖于逆特征间隙的平方根，优于幂法，并在有利情况下与Lanczos方法相当。
• 在标准变体中仅维护一个向量序列，相比需要多个序列的方法，显著降低了每轮迭代的开销。
• 采用随机初始化，并确保以常数概率收敛至主特征向量。

实验结果

研究问题

• RQ1 尽管问题本身非凸，是否可以使用坐标逐次更新来计算主特征向量，并保证全局收敛？
• RQ2 坐标逐次方法能否在特征值谱衰减缓慢的情况下，实现与Lanczos方法相当或更优的收敛速率？
• RQ3 能否将对逆特征间隙的依赖从线性改进为平方根形式，如同Lanczos方法一样，同时保持坐标逐次方法的高效性？
• RQ4 此类方法能否以极低的内存使用量实现，避免完整矩阵存储和昂贵的矩阵-向量乘积？

主要发现

• 所提出的SI-GSL方法实现了依赖于逆特征间隙平方根的收敛速率，与Lanczos方法的最佳已知依赖性相当。
• 在特征值满足 ρ₁ > ρ₁−Δ = ρ₂ = … 的稀疏协方差模型中，SI-GSL的运行时间与特征间隙Δ无关，而Lanczos的运行时间随 1/√Δ 缩放。
• 实验结果表明，在真实世界网络数据集上，SI-GSL相比CPM和SGCD方法最多可实现5倍的速度提升，且收敛速度持续提升。
• 该方法仅通过每轮迭代的单坐标更新即可保持全局收敛，避免了先前工作中需要更新约 d 个坐标的需要。
• SI-ACDM的理论收敛速度优于SI-GSL，但由于每轮维护成本较高，实际运行中通常更慢。
• 该方法通过仅依赖向量-向量内积，实现了内存高效的计算，适用于大规模密集矩阵。