[论文解读] Decoupling Weighing and Selecting for Integrating Multiple Graph Pre-training Tasks

Tianyu Fan, Lirong Wu+5 more|ArXiv.org|Mar 3, 2024

Multi-Criteria Decision MakingDecision Sciences被引用 3

一句话总结

本文提出 WAS（Weigh and Select），一种新颖的实例级框架，通过解耦任务选择与加权，实现多图预训练任务的整合。通过使用解耦的孪生网络，WAS 自适应地学习最优任务组合与实例特定的权重，在 16 个图数据集上实现了最先进性能，且随着任务池扩大，性能提升保持一致。

ABSTRACT

Recent years have witnessed the great success of graph pre-training for graph representation learning. With hundreds of graph pre-training tasks proposed, integrating knowledge acquired from multiple pre-training tasks has become a popular research topic. In this paper, we identify two important collaborative processes for this topic: (1) select: how to select an optimal task combination from a given task pool based on their compatibility, and (2) weigh: how to weigh the selected tasks based on their importance. While there currently has been a lot of work focused on weighing, comparatively little effort has been devoted to selecting. This paper proposes a novel instance-level framework for integrating multiple graph pre-training tasks, Weigh And Select (WAS), where the two collaborative processes, weighing and selecting, are combined by decoupled siamese networks. Specifically, it first adaptively learns an optimal combination of tasks for each instance from a given task pool, based on which a customized instance-level task weighing strategy is learned. Extensive experiments on 16 graph datasets across node-level and graph-level downstream tasks have demonstrated that by combining a few simple but classical tasks, WAS can achieve comparable performance to other leading counterparts. The code is available at https://github.com/TianyuFan0504/WAS.

研究动机与目标

• 填补现有方法仅关注任务加权而忽略任务兼容性与选择的空白。
• 探究在多任务图预训练中，将任务选择（兼容性）与任务加权（重要性）解耦的必要性。
• 开发一个统一框架，为下游每个实例定制任务选择与加权，以提升表征学习效果。
• 在节点级与图级下游任务（包括尚未充分探索的图级基准）上，验证所提方法的有效性。
• 证明当任务池扩大时，性能可一致提升，而不同于先前方法出现平台期或下降。

提出的方法

• 提出一种解耦的孪生网络架构，以独立建模任务选择与任务加权过程。
• 使用带有可学习投影（MLP）的选择头，生成实例特定的任务组合概率。
• 使用加权头预测实例级任务重要性权重，并通过重加权确保其和为一。
• 使用图表示上的对比学习目标，端到端训练该框架。
• 以统一且自适应的方式整合多种经典预训练任务（如 AttrMask、ContextPred、EdgePred、GraphCL）。
• 在预训练阶段应用该框架，实现基于实例感知的动态任务组合与加权。

实验结果

研究问题

• RQ1 解耦任务选择与加权是否能提升多任务图预训练中的性能？
• RQ2 在组合多个预训练任务时，任务兼容性如何影响性能？能否被有效建模？
• RQ3 与全局或固定策略相比，对每个实例定制任务选择与加权是否能带来更好的下游性能？
• RQ4 随着预训练任务池中任务数量的增加，该方法的性能如何扩展？
• RQ5 在实现高性能过程中，选择与加权的相对贡献分别是什么？

主要发现

• WAS 在 16 个图数据集上实现最先进性能，在 BACE 数据集上的平均 ROC-AUC 达 80.7%，优于所有基线方法。
• 随着任务池扩大，性能持续提升，WAS 在 10 个以上任务时仍能获得增益，而 AGSSL 则出现平台期。
• 消融实验表明，基于重要性的选择性能劣于随机选择，证明兼容性必须被单独处理。
• 若移除选择模块中的投影头（MLP），性能下降，凸显其在解耦选择与加权中的关键作用。
• 选择后的重加权至关重要——若无此步骤，权重和无法归一化，导致性能下降。
• 可视化结果表明，不同实例选择不同的任务组合（如 IG、AM、GraphLoG），证实模型具备学习实例特定策略的能力。