[论文解读] Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification

Yunsheng Shi, Zhengjie Huang+4 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Graph Neural Networks参考文献 30被引用 102

一句话总结

UniMP通过图变换器统一特征传播与标签传播，并引入掩码标签预测以防止信息泄漏，在Open Graph Benchmark数据集上实现半监督分类的最先进性能。

ABSTRACT

Graph neural network (GNN) and label propagation algorithm (LPA) are both message passing algorithms, which have achieved superior performance in semi-supervised classification. GNN performs feature propagation by a neural network to make predictions, while LPA uses label propagation across graph adjacency matrix to get results. However, there is still no effective way to directly combine these two kinds of algorithms. To address this issue, we propose a novel Unified Message Passaging Model (UniMP) that can incorporate feature and label propagation at both training and inference time. First, UniMP adopts a Graph Transformer network, taking feature embedding and label embedding as input information for propagation. Second, to train the network without overfitting in self-loop input label information, UniMP introduces a masked label prediction strategy, in which some percentage of input label information are masked at random, and then predicted. UniMP conceptually unifies feature propagation and label propagation and is empirically powerful. It obtains new state-of-the-art semi-supervised classification results in Open Graph Benchmark (OGB).

研究动机与目标

• 将GNN基于特征传播与标签传播结合在一个框架中的动机。
• 提出UniMP，一个基于图变换器的模型，输入节点特征和标签嵌入以进行传播。
• 引入掩码标签预测，在训练时防止标签泄漏，同时在推理时利用标签。
• 在大规模 OGBN 数据集上展示最先进的半监督分类性能。

提出的方法

• 通过标签嵌入将部分观测的标签表示在与节点特征相同的嵌入空间中。
• 使用多头图变换器对特征信息和标签信息进行传播与关注。
• 引入门控残差机制以缓解跨层的过平滑。
• 将特征传播与标签传播统一为单一传播规则，近似解耦的特征与标签动态。
• 应用掩码标签预测训练目标以防止标签泄漏，灵感来自BERT风格的掩码。
• 在 ogbn-products、ogbn-proteins、ogbn-arxiv 上进行消融研究与评估。

实验结果

研究问题

• RQ1 特征传播和标签传播是否可以在单一消息传递框架中有效统一？
• RQ2 在训练时对输入标签进行掩码是否可以提升泛化能力并避免在包含标签的GNN中的泄漏？
• RQ3 标签嵌入和传播在大规模、多样化的 OGBN 数据集上对性能的贡献有多大？
• RQ4 标签覆盖率和邻居信息对不同数据集上的模型准确率有何影响？

主要发现

• 在三个 OGBN 数据集：ogbn-products、ogbn-proteins 和 ogbn-arxiv 上达到新的最先进结果。
• 带有图变换器和标签嵌入的 UniMP 优于仅使用特征传播或仅用 LPA 正则化的先前方法。
• 掩码标签预测有效防止自循环标签泄漏并支持可靠的训练。
• 在 ogbn-products 上，UniMP 获得 0.8256 测试准确率（对比基线）。
• 在 ogbn-proteins 上，UniMP 达到 0.8642 测试 ROC-AUC（在报道的方法中最佳）。
• 在 ogbn-arxiv 上，UniMP 达到 0.7311 测试准确率（与最先进方法竞争力）。