[论文解读] Accelerated filtering on graphs using Lanczos method

Ana Šušnjara, Nathanaël Perraudin+2 more|arXiv (Cornell University)|Sep 15, 2015

Advanced Graph Neural Networks参考文献 15被引用 51

一句话总结

本文提出了一种基于Lanczos的图信号滤波加速方法，该方法无需显式计算特征值即可自适应于拉普拉斯矩阵的谱特性。通过利用Lanczos迭代构建Krylov子空间近似，该方法在具有较大谱间隙的图上相比切比雪夫多项式滤波展现出更高的精度，同时保持了可扩展性和较低的计算开销。

ABSTRACT

Signal-processing on graphs has developed into a very active field of research during the last decade. In particular, the number of applications using frames constructed from graphs, like wavelets on graphs, has substantially increased. To attain scalability for large graphs, fast graph-signal filtering techniques are needed. In this contribution, we propose an accelerated algorithm based on the Lanczos method that adapts to the Laplacian spectrum without explicitly computing it. The result is an accurate, robust, scalable and efficient algorithm. Compared to existing methods based on Chebyshev polynomials, our solution achieves higher accuracy without increasing the overall complexity significantly. Furthermore, it is particularly well suited for graphs with large spectral gaps.

研究动机与目标

• 解决现有图信号滤波技术在大规模图上的可扩展性和精度局限性。
• 克服切比雪夫多项式固定区间近似的缺陷，该缺陷在特征值分布非均匀或聚集的图上表现不佳。
• 开发一种无需显式计算特征值即可自适应于图拉普拉斯矩阵实际谱特性的滤波方法。
• 在最小计算成本和内存使用下实现高精度滤波，适用于大规模图信号处理应用。

提出的方法

• 使用Lanczos算法构建图拉普拉斯矩阵的Krylov子空间近似，从而在无需完整谱分解的情况下高效计算矩阵-向量乘积。
• 通过Lanczos迭代构造的多项式近似图滤波函数 $ g(\mathcal{L}) $，该多项式自适应于 $ \mathcal{L} $ 的实际谱特性。
• 基于连续近似之间的差异设定停止准则：$ \|g_{M+j} - g_M\|_2 \approx \|e_M\|_2 $，以估计误差并确定收敛性。
• 利用Lanczos过程中得到的Ritz对计算滤波信号 $ g_M(s) = U_M \hat{g}_M $，其中 $ U_M $ 为Ritz基，$ \hat{g}_M $ 为滤波后的系数。
• 通过在Ritz值处评估 $ g(\lambda_\ell) $，使滤波器组自适应于图谱，从而在非均匀谱上提升近似质量。
• 通过避免完整的特征值分解，仅依赖于与 $ \mathcal{L} $ 的矩阵-向量乘法，保持计算效率，确保每次迭代的复杂度为 $ \mathcal{O}(M N) $，内存使用为 $ \mathcal{O}(N) $。

实验结果

研究问题

• RQ1 Lanczos方法是否能在图拉普拉斯谱非均匀的情况下，显著优于切比雪夫多项式滤波，实现更精确的图滤波近似？
• RQ2 基于Lanczos的滤波方法是否能在不依赖先验谱知识的情况下，有效自适应于图拉普拉斯的实际特征值分布？
• RQ3 在具有大谱间隙的图上，Lanczos滤波与切比雪夫滤波在近似误差和收敛速度方面的性能表现如何？
• RQ4 Lanczos方法是否能在大规模图信号处理中保持高精度，同时维持计算效率和低内存使用？
• RQ5 误差估计策略 $ \|g_{M+j} - g_M\|_2 $ 在Lanczos迭代中作为停止准则的可靠性如何？

主要发现

• Lanczos方法在具有非均匀特征值分布和大谱间隙的图上，其近似误差显著低于切比雪夫方法。
• 在 $ N = 500 $ 的传感器图和Erdős–Rényi随机图上，Lanczos方法在所有测试滤波器组中均优于切比雪夫滤波，无论是否自适应，误差均有降低。
• 在 $ N = 1000 $ 的Erdős–Rényi图实验中，随着边概率 $ p $ 增大，Lanczos方法表现更优，且与相对谱间隙增大呈正相关。
• 误差估计 $ \|g_{M+3} - g_M\|_2 $ 与真实误差 $ \|e_M\|_2 $ 密切匹配，验证了其用作可靠停止准则的有效性。
• 即使在非自适应滤波器组下，Lanczos方法仍能保持高精度，而切比雪夫滤波因区间缩放不匹配而表现差。
• 该方法具有良好的可扩展性和效率，仅需 $ \mathcal{O}(M N) $ 次运算和 $ \mathcal{O}(N) $ 内存，适用于无需显式谱分解的大规模图。