[论文解读] Neural Graph Machines: Learning Neural Networks Using Graphs

Thang D. Bui, Sujith Ravi+1 more|arXiv (Cornell University)|Mar 14, 2017

Advanced Graph Neural Networks参考文献 12被引用 26

一句话总结

本文提出神经图机器（NGM），一种图正则化训练框架，将监督神经网络学习与标签传播相结合，以提升半监督任务的性能。通过将图结构数据整合到损失函数中，NGM 能够通过随机梯度下降实现高效、可扩展的训练，并在多种架构（前馈神经网络、卷积神经网络、长短期记忆网络）和数据集上取得最先进或具有竞争力的结果，尤其在低标签设置下表现优异。

ABSTRACT

Label propagation is a powerful and flexible semi-supervised learning technique on graphs. Neural networks, on the other hand, have proven track records in many supervised learning tasks. In this work, we propose a training framework with a graph-regularised objective, namely "Neural Graph Machines", that can combine the power of neural networks and label propagation. This work generalises previous literature on graph-augmented training of neural networks, enabling it to be applied to multiple neural architectures (Feed-forward NNs, CNNs and LSTM RNNs) and a wide range of graphs. The new objective allows the neural networks to harness both labeled and unlabeled data by: (a) allowing the network to train using labeled data as in the supervised setting, (b) biasing the network to learn similar hidden representations for neighboring nodes on a graph, in the same vein as label propagation. Such architectures with the proposed objective can be trained efficiently using stochastic gradient descent and scaled to large graphs, with a runtime that is linear in the number of edges. The proposed joint training approach convincingly outperforms many existing methods on a wide range of tasks (multi-label classification on social graphs, news categorization, document classification and semantic intent classification), with multiple forms of graph inputs (including graphs with and without node-level features) and using different types of neural networks.

研究动机与目标

• 开发一种统一且可扩展的训练框架，将基于图的半监督学习与深度神经网络相结合。
• 实现神经网络的联合训练，同时利用标注数据和通过图连接的未标注数据，提升低数据量场景下的泛化能力。
• 将现有图增强训练方法推广至多种神经网络架构，包括前馈网络、卷积网络和循环网络。
• 提供端到端的训练方法，避免涉及独立图嵌入与分类步骤的昂贵两阶段流程。
• 证明图正则化可生成比标准神经网络更快、更小且更准确的模型。

提出的方法

• NGM 框架提出一种联合训练目标，结合标准监督损失与受标签传播启发的图正则化项。
• 图正则化项强制图中相连节点具有相似的隐藏表示，从而在图结构上实现平滑性。
• 目标函数可微分，适用于随机梯度下降，可在边数线性时间内高效训练大规模图。
• 该方法支持归纳和直推两种设置，可处理带或不带节点特征的图。
• 节点特征与图结构联合作为神经网络的输入，邻接矩阵直接提供正则化信息。
• 该框架支持多种图类型，包括引用网络、相似性图以及知识图谱导出的关系。

实验结果

研究问题

• RQ1 图正则化训练能否提升神经网络在半监督学习设置下的性能？
• RQ2 所提出的框架能否在前馈神经网络、卷积神经网络和长短期记忆网络等不同神经网络架构上实现泛化？
• RQ3 与先学习嵌入再训练分类器的两阶段方法相比，联合训练神经网络与图正则化是否更具优势？
• RQ4 当仅有少量标注节点时，该方法的有效性如何？
• RQ5 该框架能否在保持高性能的同时高效扩展至大规模图？

主要发现

• NGM-FFNN 模型在 PubMed 引用网络数据集上达到 75.9% 的准确率，优于所有基线方法，仅低于使用更复杂架构的 Planetoid-I。
• 在低样本设置下（每类仅 20 个标注节点），NGM 显著优于标准 FFNN 以及其他半监督方法（如标签传播和流形正则化）。
• NGM 框架通过更简单的端到端训练流程实现了具有竞争力的性能，超越了依赖预训练图嵌入和独立分类器的两阶段方法。
• 该方法在多个任务中均表现出一致的性能提升，包括社交图上的多标签分类、新闻分类和语义意图分类。
• 该框架使更小、更快的神经网络得以训练，其性能可匹配或超越更大规模的非图增强模型。
• 消融研究证实，图正则化项对性能提升至关重要，尤其在标注数据稀缺时更为显著。