[论文解读] Constructing fast approximate eigenspaces with application to the fast graph Fourier transforms

Cristian Rusu, Lorenzo Rosasco|arXiv (Cornell University)|Feb 22, 2020

Matrix Theory and Algorithms参考文献 37被引用 6

一句话总结

该论文提出了一种数值高效的算法，通过结构化变换——扩展正交Givens变换或缩放/剪切变换——来构建对称矩阵和一般矩阵的快速近似特征子空间，实现O(n log n)的矩阵-向量乘法。该方法采用具有闭式更新的迭代优化，对每个分量进行优化，以极低的计算成本实现高精度，且在真实和合成图上的快速图傅里叶变换中实现了显著加速。

ABSTRACT

We investigate numerically efficient approximations of eigenspaces associated to symmetric and general matrices. The eigenspaces are factored into a fixed number of fundamental components that can be efficiently manipulated (we consider extended orthogonal Givens or scaling and shear transformations). The number of these components controls the trade-off between approximation accuracy and the computational complexity of projecting on the eigenspaces. We write minimization problems for the single fundamental components and provide closed-form solutions. Then we propose algorithms that iterative update all these components until convergence. We show results on random matrices and an application on the approximation of graph Fourier transforms for directed and undirected graphs.

研究动机与目标

• 开发对称矩阵和一般矩阵的数值高效特征子空间近似方法，将计算复杂度从O(n²)降低至O(n log n)。
• 解决在特征子空间投影中近似精度与计算效率之间的权衡。
• 提供一种将特征子空间分解为固定数量基本分量（Givens或剪切变换）的框架，以实现高效操作。
• 通过使用结构化变换近似图拉普拉斯矩阵和邻接矩阵的特征子空间，实现快速图傅里叶变换。
• 设计具有闭式解的迭代算法，用于局部优化每个变换分量。

提出的方法

• 对于对称矩阵，使用扩展正交Givens变换对特征子空间进行分解，其为正交变换并推广了标准Givens旋转。
• 对于一般（非对称）矩阵，使用缩放和剪切变换作为基本分量，以近似非结构化特征子空间。
• 为每个变换分量制定局部优化问题，以最小化原始矩阵与近似矩阵之间的Frobenius范数误差。
• 通过四次或五次多项式最小化推导出每个分量的闭式更新解，实现高效的迭代优化。
• 使用迭代重加权和抛光步骤，在无需完整重新计算的情况下改进近似效果，提升收敛性和效率。
• 在C语言中实现为蝴蝶网络结构，以实现高性能的矩阵-向量乘法，避免使用MATLAB等慢速脚本语言。

实验结果

研究问题

• RQ1 能否使用结构化变换（Givens或剪切）在保持高精度的同时，以O(n log n)复杂度近似特征子空间？
• RQ2 单个变换分量的闭式解如何提升迭代特征子空间近似中的收敛性和效率？
• RQ3 当变换分量数量变化时，近似误差与计算成本之间的权衡如何？
• RQ4 该方法在近似有向图和无向图的图傅里叶变换方面效果如何？
• RQ5 在真实世界图应用中，所提出的变换在性能上相较于标准低秩近似或BLAS优化的矩阵-向量乘法有多大优势？

主要发现

• 与标准BLAS（SGEMV）相比，该方法在真实图（如Facebook和HumanProtein）上的矩阵-向量乘法速度最高提升800倍，FLOP计数降低至6αn log₂n（G变换）。
• 对于对称正定矩阵，即使在α = 0.25（即约0.25n log₂n个变换）时，近似误差仍低于10%，表现出优异的精度保持能力。
• 在无向图（如Minnesota和Email）上，该方法在运行时间上实现了200–800倍的一致加速，同时保持高精度，经100次随机实现验证。
• 仅通过迭代抛光步骤（无需完整变换重新优化）即可达到足够精度，证明了其在实际应用中的计算效率。
• 对于非对称矩阵（如有向图），该方法在精度上可与低秩近似（r = αn log₂n）相媲美，但FLOP计数显著更低，执行速度更快。
• 使用C语言编译的蝴蝶变换结构相比MATLAB实现，将运行时开销降低了数量级，实现了实际部署的可行性。