[论文解读] A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings

Davide Buffelli, Fabio Vandin|arXiv (Cornell University)|Dec 12, 2020

Advanced Graph Neural Networks参考文献 38被引用 16

一句话总结

本文提出了一种元学习方法 SAME（单任务适应元学习），通过仅对每个任务进行少量梯度更新，训练图神经网络生成节点嵌入，使其在多个图学习任务（节点分类、图分类和链接预测）中均能实现高性能。该方法优于经典的多任务学习和微调基线模型，使用简单线性分类器时，其生成的嵌入在性能上可匹配或超越单任务模型的表现。

ABSTRACT

Graph Neural Networks (GNNs) are a framework for graph representation learning, where a model learns to generate low dimensional node embeddings that encapsulate structural and feature-related information. GNNs are usually trained in an end-to-end fashion, leading to highly specialized node embeddings. However, generating node embeddings that can be used to perform multiple tasks (with performance comparable to single-task models) is an open problem. We propose a novel meta-learning strategy capable of producing multi-task node embeddings. Our method avoids the difficulties arising when learning to perform multiple tasks concurrently by, instead, learning to quickly (i.e. with a few steps of gradient descent) adapt to multiple tasks singularly. We show that the embeddings produced by our method can be used to perform multiple tasks with comparable or higher performance than classically trained models. Our method is model-agnostic and task-agnostic, thus applicable to a wide variety of multi-task domains.

研究动机与目标

• 为解决图表示学习中节点嵌入在不同任务间迁移能力差的问题，即在某一任务上训练的嵌入在其他任务上表现不佳。
• 通过避免同时在多个任务上进行训练，克服多任务学习中的性能下降问题。
• 开发一种模型无关且任务无关的方法，通过少量梯度步骤实现对单个任务的快速适应。
• 证明元学习得到的嵌入在多种图任务上可达到或超过单任务模型的性能。
• 探索元学习中课程式训练在提升多任务和单任务设置下表示质量方面的优势。

提出的方法

• 提出一种基于优化的元学习框架（如 MAML），使模型能够通过少量梯度步骤快速适应新任务。
• 采用课程式训练策略：每个训练周期采样一个单一任务（如节点分类），并在支持集上执行少量梯度更新以适应模型。
• 采用两种变体：iSAME（隐式适应）和 eSAME（显式适应），二者在元更新过程中适应计算方式上有所不同。
• 训练图神经网络编码器以生成可在任务间泛化的节点嵌入，同时使用少量梯度下降步骤对每个任务的线性分类头进行微调。
• 应用元学习目标，最小化经过少量适应步骤后的任务平均损失，以鼓励获得鲁棒且可迁移的表示。
• 该方法具有模型无关性和任务无关性，可适用于任意图神经网络架构和下游图学习任务。

实验结果

研究问题

• RQ1 能否学习到一组通用的节点嵌入，使其在多个图学习任务中均表现良好？
• RQ2 在图表示学习中，通过少量梯度步骤快速适应单个任务的元学习方法是否优于经典的多任务学习？
• RQ3 课程式元学习策略是否能在单任务设置下也提升节点表示质量？
• RQ4 元学习嵌入在多个基准数据集上的性能与单任务模型和微调模型相比如何？
• RQ5 所提出的方法是否对任务多样性具有鲁棒性，并在不同图数据集上均表现有效？

主要发现

• eSAME 变体在所有任务上的最差情况平均性能下降仅为 3%，而经典多任务模型为 29%，表明其具有更优的鲁棒性。
• 在 eSAME 嵌入上训练的线性分类器在所有数据集上均优于端到端多任务模型，节点分类任务中 DHFR 数据集的性能提升最高达 6.8%。
• iSAME 和 eSAME 变体性能相近，表明核心优势源于元学习优化过程，而非适应机制本身。
• 元学习嵌入在所有三项任务（NC、GC、LP）上的表现均优于经典多任务模型，节点分类平均提升 2.7–3.2%，链接预测平均提升 1.5–3.2%。
• 课程式训练策略即使在单任务设置下也能提升表示质量，表明其对表示学习具有更广泛的益处。
• 微调基线模型的表现劣于经典多任务模型，证实了多任务图学习中知识迁移的困难性。