[论文解读] Anonymous Walk Embeddings

Sergey Ivanov, Evgeny Burnaev|arXiv (Cornell University)|May 30, 2018

Advanced Graph Neural Networks参考文献 25被引用 78

一句话总结

论文引入 Anonymous Walk Embeddings (AWE)，提供两种无监督方法（基于特征和数据驱动），使用匿名游走来嵌入整个图，实现具有竞争力或最先进的图分类性能。

ABSTRACT

The task of representing entire graphs has seen a surge of prominent results, mainly due to learning convolutional neural networks (CNNs) on graph-structured data. While CNNs demonstrate state-of-the-art performance in graph classification task, such methods are supervised and therefore steer away from the original problem of network representation in task-agnostic manner. Here, we coherently propose an approach for embedding entire graphs and show that our feature representations with SVM classifier increase classification accuracy of CNN algorithms and traditional graph kernels. For this we describe a recently discovered graph object, anonymous walk, on which we design task-independent algorithms for learning graph representations in explicit and distributed way. Overall, our work represents a new scalable unsupervised learning of state-of-the-art representations of entire graphs.

研究动机与目标

• 推动任务无关且可扩展的图级表示。
• 将匿名游走作为特征驱动和数据驱动嵌入的核心图对象引入。
• 开发高效的采样与学习算法以生成图嵌入。
• 在标准图分类基准上展示最先进或具竞争力的性能。

提出的方法

• 定义匿名游走并展示其理论上刻画节点周围局部拓扑的能力。
• 提出基于特征的 AWE，通过采样估计匿名游走的分布并从 p(a) 形成图嵌入。
• 提出数据驱动的 AWE，通过模拟类似 paragraph-vector 的模型，其中匿名游走是词，图是文档，学习得到的图向量 d 表示嵌入。
• 使用 skip-gram 风格的目标函数最大化从上下文游走和图向量预测目标匿名游走的似然性，并对上下文进行平均后与图向量拼接。
• 用随机梯度下降进行训练，在不同图之间共享游走嵌入矩阵 W，从而实现对学习到的游走表示的重复使用。
• 通过采样方法实现可扩展的训练（基于特征的方法），以及对数据驱动方法采用高效学习的 sampled softmax、层级 softmax，或 NCE。

Figure 1: An example demonstrating the concept of anonymous walk. Two different random walks 1 and 2 of the graph correspond to the same anonymous walk 1. A random walk 3 corresponds to another anonymous walk 2.

实验结果

研究问题

• RQ1 匿名游走是否可以作为可扩展且信息丰富的无监督图嵌入基础？
• RQ2 在图分类任务中，基于特征的和数据驱动的 AWE 与图核和神经网络基线相比如何？
• RQ3 游走长度、采样和核选择对分类性能有何影响？
• RQ4 数据驱动方法能否在多个图之间重用游走嵌入以提高可扩展性和性能？

主要发现

• 基于特征的 AWE 在若干社会网络数据集上实现了与最先进方法相当甚至超越一些基线的结果。
• 数据驱动的 AWE 达到具竞争力的性能，在某些情况下比基于特征的结果更好，特别是在更长的训练和游走长度下。
• AWE 方法是无监督的，与核分类器结合时，可以在图分类基准上超越或匹配监督神经模型。
• 该方法可扩展到拥有数万个节点和边的图，在其 Erdos–Renyi 规模化实验中嵌入计算仅需几秒。
• 使用 RBF 或多项式核可以增强基于 AWE 的分类的非线性决策边界。

Figure 2: $Y$ -axis is in log scale. The number of different anonymous walks increases exponentially with length of walks $l$ .