[论文解读] Automated Data Augmentations for Graph Classification

Youzhi Luo, Michael McThrow+5 more|arXiv (Cornell University)|Feb 26, 2022

Machine Learning and ELM被引用 8

一句话总结

本文提出 GraphAug，一种用于图分类的自动化数据增强方法，利用强化学习学习标签无关的图变换。通过根据学习到的策略动态选择节点掩码、边丢弃和边扰动，GraphAug 在多个图数据集上实现了最先进性能，同时保持了高水平的标签不变性，经消融实验和泛化性研究验证。

ABSTRACT

Data augmentations are effective in improving the invariance of learning machines. We argue that the core challenge of data augmentations lies in designing data transformations that preserve labels. This is relatively straightforward for images, but much more challenging for graphs. In this work, we propose GraphAug, a novel automated data augmentation method aiming at computing label-invariant augmentations for graph classification. Instead of using uniform transformations as in existing studies, GraphAug uses an automated augmentation model to avoid compromising critical label-related information of the graph, thereby producing label-invariant augmentations at most times. To ensure label-invariance, we develop a training method based on reinforcement learning to maximize an estimated label-invariance probability. Experiments show that GraphAug outperforms previous graph augmentation methods on various graph classification tasks.

研究动机与目标

• 为解决图分类中的数据稀缺问题，开发自动化、标签无关的数据增强策略。
• 克服统一、手工设计的图增强方法可能破坏与标签相关的信息的局限性。
• 设计一种可学习的增强策略，根据图结构和标签上下文选择最优变换。
• 通过强化学习框架最大化估计的不变性概率，确保增强过程中保持高标签不变性。
• 在无需人工调参的情况下，证明方法在多样化图数据集上的泛化性和鲁棒性。

提出的方法

• GraphAug 使用强化学习智能体在三种可学习增强类别中进行选择：MaskNF（节点特征掩码）、DropNode（节点丢弃）和 PerturbEdge（边扰动）。
• 智能体被训练以最大化估计的标签不变性概率，确保增强后的图保留原始类别标签。
• 采用带有虚拟节点的图神经网络来编码图级表征，使智能体能够基于上下文做出明智的增强决策。
• 该方法采用策略梯度方法优化增强策略，其中奖励基于原始图与增强图之间预测结果的相似性。
• 引入虚拟节点以增强消息传递机制，提升图级表征学习效果，从而改善增强类别预测性能。
• 框架通过合成数据集与真实世界图数据集的组合进行评估，性能通过交叉验证下的分类准确率进行衡量。

实验结果

研究问题

• RQ1 自动化、可学习的增强策略是否能在图分类任务中超越手工设计、统一的图增强方法？
• RQ2 强化学习在多大程度上可用于学习保留语义意义的标签无关图变换？
• RQ3 虚拟节点的引入如何影响增强策略的性能与稳定性？
• RQ4 结合多种变换类型（如掩码、丢弃、扰动）是否能带来比单一类型更好的泛化性能？
• RQ5 在已知标签的合成数据集上，GraphAug 的标签不变性比率与统一基线方法相比如何？

主要发现

• 在多个图分类基准数据集上，GraphAug 在 GIN 模型下达到最先进性能，包括 PROTEINS（0.816 ± 0.001）、IMDB-BINARY（0.762 ± 0.004）和 NCI1（0.816 ± 0.001）。
• 在 COLORS 和 TRIANGLES 合成数据集上，GraphAug 分别实现了 0.9994 和 1.0000 的标签不变性比率，显著优于统一基线方法。
• 消融研究显示，仅使用单一变换类型（如可学习的 DropNode）在特定数据集上也有效，但 GraphAug 的组合策略在多样化数据分布上具有更强的泛化能力。
• 在 GNN 主干网络中使用虚拟节点相比求和、平均或最大池化方法，能获得更优性能，证实其在增强消息传递与表征学习中的关键作用。
• GraphAug 在小样本数据集上持续提升泛化能力并减少过拟合，在多次 10 折交叉验证中表现稳健。
• 在所有评估的数据集和模型上，该方法均优于先前的图增强技术，包括统一和随机增强基线方法。