[论文解读] Learning Universal Graph Neural Network Embeddings With Aid Of Transfer Learning

Saurabh Verma, Zhi-Li Zhang|arXiv (Cornell University)|Sep 22, 2019

Advanced Graph Neural Networks参考文献 59被引用 10

一句话总结

本文提出 DUGnn，一种新型图神经网络，通过无监督预训练和迁移学习学习与任务无关的通用图嵌入。通过结合通用图编码器与使用图核的多任务图解码器，DUGnn 在图分类基准测试中达到最先进性能，优于现有 GNN 和图核模型 3%–8%。

ABSTRACT

Learning powerful data embeddings has become a center piece in machine learning, especially in natural language processing and computer vision domains. The crux of these embeddings is that they are pretrained on huge corpus of data in a unsupervised fashion, sometimes aided with transfer learning. However currently in the graph learning domain, embeddings learned through existing graph neural networks (GNNs) are task dependent and thus cannot be shared across different datasets. In this paper, we present a first powerful and theoretically guaranteed graph neural network that is designed to learn task-independent graph embeddings, thereafter referred to as deep universal graph embedding (DUGNN). Our DUGNN model incorporates a novel graph neural network (as a universal graph encoder) and leverages rich Graph Kernels (as a multi-task graph decoder) for both unsupervised learning and (task-specific) adaptive supervised learning. By learning task-independent graph embeddings across diverse datasets, DUGNN also reaps the benefits of transfer learning. Through extensive experiments and ablation studies, we show that the proposed DUGNN model consistently outperforms both the existing state-of-art GNN models and Graph Kernels by an increased accuracy of 3% - 8% on graph classification benchmark datasets.

研究动机与目标

• 解决现有 GNN 中缺乏与任务无关图嵌入的问题，这些模型通常为每个任务单独训练，无法在不同数据集间共享。
• 克服图表示学习中的技术挑战，包括输入维度可变、模型容量有限以及无监督图重构问题。
• 通过在多样化数据集上训练通用编码器，实现图神经网络中的迁移学习，以提升下游任务的泛化能力和性能。
• 设计基于图核的多任务解码器，以增强子结构捕捉能力，并同时支持无监督和自适应监督学习。
• 为 DUGnn 模型在图分类任务中的泛化能力提供理论保障，将迁移学习与泛化误差降低相联系。

提出的方法

• 引入输入转换器（Input Transformer），对多样化数据集中的可变大小节点特征矩阵进行归一化和标准化，实现一致的输入处理。
• 开发基于 GNN 的通用图编码器，通过在多个数据集上进行无监督预训练，学习全局、与任务无关的图嵌入。
• 实现多任务图解码器，联合优化三个损失分量：自编码器损失（$\mathcal{L}_A$）、图核重构损失（$\mathcal{L}_{\mathcal{K}}^{(\text{unsup})}$）和监督分类损失（$\mathcal{L}_{\text{class}}$）。
• 在解码器中利用图核（如 Weisfeiler-Lehman、Graphlet Kernel）从嵌入中重构输入图的结构特性，实现无监督预训练。
• 通过微调预训练的通用编码器在特定下游任务上应用迁移学习，借助共享表示学习实现性能提升。
• 理论分析为 DUGnn 在图分类任务中的泛化能力提供边界，表明迁移学习可降低泛化差距。

实验结果

研究问题

• RQ1 能否设计一种图神经网络，使其学习与任务无关的通用图嵌入，且可在多样化数据集间迁移？
• RQ2 将图核作为多任务解码器的组成部分，如何提升所学习图嵌入的质量与泛化能力？
• RQ3 与从零开始训练相比，通过共享通用编码器实现的迁移学习在下游图分类任务中的性能提升程度如何？
• RQ4 多任务解码器中各组件（自编码器、图核、分类损失）对整体模型性能的相对贡献是什么？
• RQ5 能否为采用迁移学习和多任务解码的通用图嵌入模型建立理论泛化保证？

主要发现

• 在 NCI1、MUTAG、PTC 和 QM8 等标准图分类基准测试中，DUGnn 相较于最先进 GNN 和图核模型，准确率提升 3%–8%。
• 在 QM8 数据集上，仅使用通用图编码器（未使用多任务解码器）即达到新的最先进均方误差（MAE）为 11.16，优于 MPNN、DTNN 和 GCNN 的 20%–30%。
• 与从零开始训练相比，通过预训练 DUGnn 模型进行迁移学习可将准确率下降减少 0.4%–1%，尤其在 PTC 等小数据集上提升更明显。
• 移除图核损失（$\mathcal{L}_{\mathcal{K}}^{(\text{unsup})}$）导致准确率下降 2%–3%，移除自编码器损失（$\mathcal{L}_A$）导致下降 3%–4%，表明多任务解码器至关重要。
• 监督分类损失（$\mathcal{L}_{\text{class}}$）贡献显著，但即使不使用该损失，DUGnn 仍能与图核方法保持竞争力，表明通用编码器具有强鲁棒性。
• 消融研究证实多任务解码器对性能至关重要，完整 DUGnn 模型在所有数据集上均持续优于各类消融变体。