[论文解读] LCS Graph Kernel Based on Wasserstein Distance in Longest Common Subsequence Metric Space

Jianming Huang, Zhongxi Fang+1 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Graph Neural Networks参考文献 63被引用 22

一句话总结

该论文提出了一种新颖的图核LCS-GK，利用最长公共子序列（LCS）相似性在路径序列的度量空间中计算Wasserstein距离，从而减少过平滑现象并降低计算成本。通过用基于LCS导出的基距离的最优传输替代传统的R-卷积框架，该方法改进了图相似性度量，尤其适用于长度不同的路径；同时引入相邻点合并操作以稀疏化表示，实现在基准数据集上的最先进性能。

ABSTRACT

For graph learning tasks, many existing methods utilize a message-passing mechanism where vertex features are updated iteratively by aggregation of neighbor information. This strategy provides an efficient means for graph features extraction, but obtained features after many iterations might contain too much information from other vertices, and tend to be similar to each other. This makes their representations less expressive. Learning graphs using paths, on the other hand, can be less adversely affected by this problem because it does not involve all vertex neighbors. However, most of them can only compare paths with the same length, which might engender information loss. To resolve this difficulty, we propose a new Graph Kernel based on a Longest Common Subsequence (LCS) similarity. Moreover, we found that the widely-used R-convolution framework is unsuitable for path-based Graph Kernel because a huge number of comparisons between dissimilar paths might deteriorate graph distances calculation. Therefore, we propose a novel metric space by exploiting the proposed LCS-based similarity, and compute a new Wasserstein-based graph distance in this metric space, which emphasizes more the comparison between similar paths. Furthermore, to reduce the computational cost, we propose an adjacent point merging operation to sparsify point clouds in the metric space.

研究动机与目标

• 为解决图神经网络中因消息传递机制聚合过多邻居信息而导致的过平滑问题。
• 克服现有基于路径的图核在比较时要求路径长度相等的局限性，避免信息损失。
• 通过用基于新LCS的基度量的最优传输替代R-卷积框架，改进图相似性计算。
• 通过在LCS度量空间中引入相邻点合并操作，降低计算成本，实现路径序列表示的高效表达。

提出的方法

• 提出一种基于LCS相似性的新度量空间，将基距离定义为 d(x1,x2) = 1 − Flcs(x1,x2)/max(|x1|,|x2|)，该定义满足度量公理。
• 利用路径序列的归一化质量向量之间的Wasserstein距离计算图相似性，强调对相似路径的比较。
• 用最优传输替代标准的R-卷积框架，以减轻大量不相似路径对对导致相似性估计下降的影响。
• 引入一种相邻点合并操作，将LCS度量空间中相似的路径进行合并，减少冗余并稀疏化路径云表示。
• 采用Sinkhorn算法高效求解基于所提出基距离矩阵的最优传输问题。
• 使用参数λ的拉普拉斯核计算最终的核值，公式为 kLCS(G1,G2) = exp(−λdG)，其中 dG 为Wasserstein距离。

实验结果

研究问题

• RQ1 基于LCS的相似性能否有效比较长度不同的图路径，避免因长度约束导致的信息损失？
• RQ2 在基于路径的图核中，用最优传输替代R-卷积框架是否能通过降低不相似路径对的影响来提升相似性估计？
• RQ3 如何在不牺牲表示表达能力的前提下，降低基于路径的图核的计算成本？
• RQ4 在LCS度量空间中进行相邻点合并能否有效减少冗余，同时保留路径表示中的结构信息？

主要发现

• 所提出的LCS度量满足所有度量公理，包括正定性、对称性及三角不等式，确保数学上的有效性。
• 在LCS度量空间中计算的Wasserstein距离对不相似路径对赋予较小权重，从而实现更鲁棒、更精确的图相似性估计。
• 相邻点合并操作显著减少了路径序列的数量，提升了计算效率，同时仅造成可忽略的判别能力损失。
• LCS-GK核在多个基准图分类数据集上达到最先进性能，优于现有的图核（包括WWL和Weisfeiler-Lehman）。
• 实验结果表明，该方法在处理路径长度多样且冗余度高的图时尤为有效，展现出优越的泛化能力。