[论文解读] Graph Kernels

S. V. N. Vishwanathan, Karsten Borgwardt+2 more|arXiv (Cornell University)|Jul 1, 2008

Advanced Graph Neural Networks参考文献 40被引用 75

一句话总结

本文提出了一种统一的图核框架，通过使用再生核希尔伯特空间（RKHS）扩展和西尔维斯特方程约化，将计算时间从 O(n⁶) 降低至 O(n³)。该方法利用共轭梯度求解器在稀疏图上实现亚立方时间性能，实际应用中将核计算速度提升超过1000倍，同时将图核与扩散和正则化模型联系起来。

ABSTRACT

We present a unified framework to study graph kernels, special cases of which include the random walk graph kernel \citep{GaeFlaWro03,BorOngSchVisetal05}, marginalized graph kernel \citep{KasTsuIno03,KasTsuIno04,MahUedAkuPeretal04}, and geometric kernel on graphs \citep{Gaertner02}. Through extensions of linear algebra to Reproducing Kernel Hilbert Spaces (RKHS) and reduction to a Sylvester equation, we construct an algorithm that improves the time complexity of kernel computation from $O(n^6)$ to $O(n^3)$. When the graphs are sparse, conjugate gradient solvers or fixed-point iterations bring our algorithm into the sub-cubic domain. Experiments on graphs from bioinformatics and other application domains show that it is often more than a thousand times faster than previous approaches. We then explore connections between diffusion kernels \citep{KonLaf02}, regularization on graphs \citep{SmoKon03}, and graph kernels, and use these connections to propose new graph kernels. Finally, we show that rational kernels \citep{CorHafMoh02,CorHafMoh03,CorHafMoh04} when specialized to graphs reduce to the random walk graph kernel.

研究动机与目标

• 将现有的图核方法（如随机游走、有界化和几何核）统一到一个理论框架中。
• 通过再生核希尔伯特空间（RKHS）中的线性代数方法，将图核计算的计算复杂度从 O(n⁶) 降低至 O(n³)。
• 通过共轭梯度等迭代求解器，在稀疏图上实现亚立方时间性能。
• 建立图核、扩散核与图正则化之间的理论联系，以启发新型核设计。
• 证明当有理核特化到图时，其结果恰好为随机游走图核。

提出的方法

• 利用线性代数在再生核希尔伯特空间（RKHS）中的扩展，将图核计算形式化为泛函分析框架。
• 将核计算问题约化为求解西尔维斯特方程，从而实现高效的基于矩阵的计算。
• 应用共轭梯度求解器或定点迭代法，在图稀疏时实现亚立方时间复杂度。
• 利用西尔维斯特方程的结构，推导出避免朴素计算中 O(n⁶) 成本的闭式解。
• 通过共享的数学表达式，建立图核、扩散核与图正则化之间的理论联系。
• 将有理核特化到图，并证明其在所提框架下恰好退化为随机游走图核。

实验结果

研究问题

• RQ1 能否开发一个统一框架，涵盖主要图核类型，包括随机游走、有界化和几何核？
• RQ2 在 RKHS 中将图核计算表达为西尔维斯特方程，其理论与计算优势是什么？
• RQ3 共轭梯度等迭代求解器如何降低稀疏图上图核计算的时间复杂度？
• RQ4 图核、扩散核与图正则化之间存在何种联系？这些联系如何启发新型核设计？
• RQ5 有理核特化到图时是否产生随机游走图核？若是，其条件是什么？

主要发现

• 所提框架将图核计算的时间复杂度从 O(n⁶) 降低至 O(n³)，使大规模图的应用成为可能。
• 对于稀疏图，共轭梯度求解器或定点迭代法使有效时间复杂度进入亚立方域，显著提升性能。
• 在生物信息学及其他数据集上的实证评估显示，与以往方法相比，速度提升超过1000倍。
• 理论分析表明，当有理核应用于图时，其结果恰好退化为随机游走图核。
• 图核、扩散核与图正则化之间的联系得到形式化，从而可设计出新型、有理论依据的图核族。
• 该框架提供了一个通用且高效的图核计算引擎，将多种方法统一于单一数学基础之上。