[论文解读] Learning Graph Representations with Embedding Propagation

Alberto García-Durán, Mathias Niepert|arXiv (Cornell University)|Oct 9, 2017

Advanced Graph Neural Networks参考文献 33被引用 75

一句话总结

论文介绍 Embedding Propagation (Ep)，一个无监督框架，通过在相邻节点之间传递基于标签的消息并重构标签嵌入来更新节点表示。Ep-B，一个简单的 Ep 实例，在多个图基准数据集上以更少的参数和超参数实现具有竞争力或更优的性能。

ABSTRACT

We propose Embedding Propagation (EP), an unsupervised learning framework for graph-structured data. EP learns vector representations of graphs by passing two types of messages between neighboring nodes. Forward messages consist of label representations such as representations of words and other attributes associated with the nodes. Backward messages consist of gradients that result from aggregating the label representations and applying a reconstruction loss. Node representations are finally computed from the representation of their labels. With significantly fewer parameters and hyperparameters an instance of EP is competitive with and often outperforms state of the art unsupervised and semi-supervised learning methods on a range of benchmark data sets.

研究动机与目标

• 激发跨社会网络和生物信息学等领域的图结构数据的无监督学习。
• 提出 Embedding Propagation (Ep)，通过在邻居之间交换标签嵌入来学习节点表示。
• 启用基于重构的学习，通过重构损失的梯度信号来更新标签嵌入。
• 提供一个具体的 Ep-B 实例，使用简单的平均汇聚器和基于边际的排序损失以展示有效性。

提出的方法

• 使用可微分函数 f_i 将每种类型的节点标签嵌入，以获得标签嵌入。
• 通过函数 g_i 将标签嵌入进行聚合以计算顶点嵌入，并通过来自邻居标签嵌入的 ~g_i 进行重构。
• 对所有标签类型最小化重构损失，以对齐当前与重构的标签嵌入。
• 使用基于边距的排序损失，促使一个节点的标签更接近自身嵌入的重构，而不是他人嵌入的重构。
• 将每种类型的标签嵌入连接起来，形成供下游任务使用的节点表示。

实验结果

研究问题

• RQ1 无监督的 embedding propagation 能否在没有监督标签的情况下学习具有竞争力的图表示？
• RQ2 多类型节点标签（例如单词、ID、属性）在图中如何有效地整合和传播？
• RQ3 采用简单平均和边距损失的 Ep-B 是否能扩展到现实世界的图并支持归纳学习？

主要发现

• Ep-B 在 BlogCatalog、POS 和 PPI 的转导和诱导设置中获得最佳或接近最佳的 micro 和 macro F1 得分。
• Ep-B 在多个数据集上持续优于 DeepWalk、Node2vec、LINE 和 wvRN 等基线，且需要调整的参数和超参数更少。
• 当边是有向的或图具有多种标签类型和属性信息时，Ep-B 仍然有效。
• 嵌入可视化显示，Ep-B 能有效地将多种标签类型结合起来，形成可分离的簇。
• Ep 表示通过对未见节点进行标签嵌入的重构来实现归纳推广，无需重新训练。