[论文解读] On the Equivalence between Positional Node Embeddings and Structural Graph Representations

Balasubramaniam Srinivasan, Bruno Ribeiro|arXiv (Cornell University)|Oct 1, 2019

Advanced Graph Neural Networks被引用 24

一句话总结

本文通过不变性理论建立了位置节点嵌入与结构图表示之间的理论等价性，表明二者在数学上是互补的——如同分布与其样本——从而实现了任务的相互迁移。本文证明了所有可通过节点嵌入解决的任务，同样可通过结构表示解决，反之亦然，同时驳斥了节点嵌入与结构表示固有地属于归纳学习或直推学习的误解，并为嵌入构建提供了新的实用指导。

ABSTRACT

This work provides the first unifying theoretical framework for node (positional) embeddings and structural graph representations, bridging methods like matrix factorization and graph neural networks. Using invariant theory, we show that the relationship between structural representations and node embeddings is analogous to that of a distribution and its samples. We prove that all tasks that can be performed by node embeddings can also be performed by structural representations and vice-versa. We also show that the concept of transductive and inductive learning is unrelated to node embeddings and graph representations, clearing another source of confusion in the literature. Finally, we introduce new practical guidelines to generating and using node embeddings, which fixes significant shortcomings of standard operating procedures used today.

研究动机与目标

• 解决文献中长期存在的关于节点嵌入与结构图表示之间关系的混淆问题。
• 建立一个统一的理论框架，将矩阵分解、词嵌入与图神经网络置于共同的数学基础之上。
• 澄清归纳学习与直推学习并非节点嵌入或结构表示的固有属性。
• 提供基于实证的新指导原则，用于生成和使用节点嵌入，以超越当前的标准操作流程。

提出的方法

• 使用不变性理论形式化结构表示（作为不变量）与节点嵌入（作为分布样本）之间的对偶性。
• 应用公理化反事实推理分析节点嵌入与结构表示的功能等价性。
• 将节点嵌入形式化为潜变量模型中的样本，其中结构表示是这些样本上的置换不变函数。
• 引入基于蒙特卡洛采样的方法，通过节点子集的平均来估计结构表示。
• 设计算法将节点嵌入转换为结构表示（算法2）以及反之（算法1），利用置换不变函数与重参数化技术。
• 通过在Citeseer等数据集上进行节点分类、链接预测与三元组预测的实验，验证了该框架的有效性。

实验结果

研究问题

• RQ1 是否存在位置节点嵌入与结构图表示之间的根本理论等价性？
• RQ2 所有由节点嵌入执行的任务是否也能由结构表示完成，反之亦然？
• RQ3 为何图神经网络尽管具有表达性强的结构表示，却在链接预测任务中表现不佳？
• RQ4 在节点嵌入与结构表示的背景下，归纳学习与直推学习的区分是否具有意义？
• RQ5 生成鲁棒且高效的节点嵌入的正确设计原则是什么？

主要发现

• 由于节点嵌入与结构表示在数学上互为样本与分布，所有可通过节点嵌入解决的任务，同样可通过结构表示解决，反之亦然。
• MC-SVD方法在Citeseer上的节点分类任务中，使用20个蒙特卡洛样本，达到了0.737 ± 0.005的最高micro-F1分数，优于GIN与RP-GIN模型。
• CGNN在20个样本下实现了0.654 ± 0.049的链接预测F1分数，显著优于标准GNN，表明结构表示估计具有实际价值。
• 1-2-3 GNN模型在所有任务中表现均较差，节点分类F1仅为0.189 ± 0.026，凸显了朴素GNN架构的局限性。
• 通过蒙特卡洛采样从节点嵌入中导出的结构表示，在链接预测与节点分类任务中均实现了稳定的性能提升。
• 理论分析与实证结果表明，归纳学习与直推学习并非节点嵌入或结构表示的固有属性。