[论文解读] Graph Policy Network for Transferable Active Learning on Graphs

Shengding Hu, Zheng Xiong+5 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Graph Neural Networks参考文献 33被引用 24

一句话总结

该论文提出图策略网络（GPA），一种基于强化学习的图神经网络主动学习框架，通过基于图神经网络的策略网络学习可迁移的查询策略。通过将主动学习建模为马尔可夫决策过程，并在多个带标签的源图上联合训练，GPA 实现了对未标记目标图的零样本迁移，在同域和跨域设置下显著优于基线方法，在 Reddit 小型图上达到最高 90.41% 的 Micro-F1 分数。

ABSTRACT

Graph neural networks (GNNs) have been attracting increasing popularity due to their simplicity and effectiveness in a variety of fields. However, a large number of labeled data is generally required to train these networks, which could be very expensive to obtain in some domains. In this paper, we study active learning for GNNs, i.e., how to efficiently label the nodes on a graph to reduce the annotation cost of training GNNs. We formulate the problem as a sequential decision process on graphs and train a GNN-based policy network with reinforcement learning to learn the optimal query strategy. By jointly training on several source graphs with full labels, we learn a transferable active learning policy which can directly generalize to unlabeled target graphs. Experimental results on multiple datasets from different domains prove the effectiveness of the learned policy in promoting active learning performance in both settings of transferring between graphs in the same domain and across different domains.

研究动机与目标

• 降低在医疗保健和化学等数据稀缺领域训练图神经网络所带来的高昂标注成本。
• 解决现有图主动学习方法中贪婪的、短期选择标准的局限性。
• 对图结构化数据中的长期性能优化与节点交互进行建模。
• 开发一种可迁移的主动学习策略，使其在无需微调的情况下泛化于不同图。
• 实现从源图到未标记目标图的零样本策略迁移。

提出的方法

• 将图上的主动学习形式化为马尔可夫决策过程（MDP），其中状态定义为当前图的状态，动作为节点选择，奖励为图神经网络性能的提升。
• 采用基于图神经网络的策略网络来参数化动作策略，显式建模节点交互与图结构。
• 使用策略梯度强化学习以最大化长期图神经网络性能，避免对代理指标的贪婪优化。
• 在多个带有完整标签的源图上联合训练策略网络，以学习可迁移的策略。
• 直接将预训练策略应用于未标记的目标图，无需微调，从而实现零样本迁移。
• 集成图卷积操作以在节点间传播信息，提升信息量估计的准确性。

实验结果

研究问题

• RQ1 基于强化学习的策略网络能否学习到一种查询策略，以优化图上的长期图神经网络性能？
• RQ2 基于图神经网络的策略能否有效建模节点交互，以提升节点信息量估计的准确性？
• RQ3 在多个源图上训练的策略能否在无需微调的情况下泛化到未标记的目标图？
• RQ4 所提出方法在同域和跨域设置下，与启发式方法和基线方法相比表现如何？
• RQ5 该策略是否学会探索图的不同区域，并在查询选择过程中保持类别平衡？

主要发现

• GPA 在 Reddit 小型图上达到 90.41% 的 Micro-F1 分数，显著优于 AGE（86.35）和基于中心性的方法（84.13）。
• 该策略成功探索了图中代表性不足的区域，如节点 10、13 和 15，而基线方法仅关注高阶数节点。
• GPA 学会了在查询选择过程中在不同类别间交替，避免连续从同一类别中选择节点。
• 该方法在跨领域场景中展现出强大的零样本迁移性能，在同域与跨域主动学习设置中均保持稳定提升。
• 该策略在无需微调的情况下有效泛化到未见过的图，证实了其可迁移性与鲁棒性。
• 该方法减少了在药物发现和医疗保健等低资源领域对专家标注的依赖，这些领域标注成本高且耗时长。