[论文解读] Adaptive-Step Graph Meta-Learner for Few-Shot Graph Classification

Ning Ma, Jiajun Bu+6 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Graph Neural Networks参考文献 54被引用 6

一句话总结

该论文提出 AS-MAML，一种用于少样本图分类的新型元学习框架，通过使用带有自适应步长控制器的图元学习器，实现对未见图类的快速、鲁棒适应。通过利用图神经网络（GNN）捕捉局部子结构，并结合基于强化学习的步长控制器（使用无监督嵌入质量度量 ANI），该方法在多个少样本图基准上实现了最先进性能，优于依赖共享超类或全局谱聚类的先前方法。

ABSTRACT

Graph classification aims to extract accurate information from graph-structured data for classification and is becoming more and more important in graph learning community. Although Graph Neural Networks (GNNs) have been successfully applied to graph classification tasks, most of them overlook the scarcity of labeled graph data in many applications. For example, in bioinformatics, obtaining protein graph labels usually needs laborious experiments. Recently, few-shot learning has been explored to alleviate this problem with only given a few labeled graph samples of test classes. The shared sub-structures between training classes and test classes are essential in few-shot graph classification. Exiting methods assume that the test classes belong to the same set of super-classes clustered from training classes. However, according to our observations, the label spaces of training classes and test classes usually do not overlap in real-world scenario. As a result, the existing methods don't well capture the local structures of unseen test classes. To overcome the limitation, in this paper, we propose a direct method to capture the sub-structures with well initialized meta-learner within a few adaptation steps. More specifically, (1) we propose a novel framework consisting of a graph meta-learner, which uses GNNs based modules for fast adaptation on graph data, and a step controller for the robustness and generalization of meta-learner; (2) we provide quantitative analysis for the framework and give a graph-dependent upper bound of the generalization error based on our framework; (3) the extensive experiments on real-world datasets demonstrate that our framework gets state-of-the-art results on several few-shot graph classification tasks compared to baselines.

研究动机与目标

• 为解决现实应用（如生物信息学）中标签数据稀缺的少样本图分类挑战。
• 通过聚焦共享局部子结构而非假设训练与测试类别间存在重叠标签空间，克服现有方法的局限性。
• 开发一种元学习框架，实现在极少标注样本下对新型图类的快速、鲁棒适应。
• 引入可学习的步长控制器，根据嵌入质量动态调整适应步数，提升泛化能力并减少过拟合。
• 基于图相关属性，提供一个理论泛化误差上界，支持该框架的鲁棒性。

提出的方法

• 该框架基于图神经网络（如 GraphSAGE 和 SAGPool）构建图元学习器，从支持图中提取任务特定表示。
• 自适应步长控制器通过强化学习实现，根据无监督度量 ANI（平均邻域信息量）所衡量的嵌入质量，动态调整每项任务的适应步数。
• ANI 用作奖励信号，指导控制器在探索（ANI 较低时增加步数）与利用（ANI 较高时减少步数）之间取得平衡。
• 元学习器采用基于任务的 episodic 训练范式，每个 episode 模拟一个少样本分类任务，包含支持集与查询集。
• 该框架通过元优化目标端到端训练，最小化多个 episode 上的元损失。
• 理论分析提供了基于图数据结构特性的泛化误差上界，将模型性能与图数据的结构性质关联起来。

实验结果

研究问题

• RQ1 当训练与测试类别之间无重叠标签空间时，具有自适应步长控制的元学习器是否能更好地泛化到未见图类？
• RQ2 相较于基于全局超类聚类的方法，使用局部子结构相似性是否能提升少样本图分类性能？
• RQ3 无监督嵌入质量度量（ANI）是否能有效引导图数据元学习中的适应过程？
• RQ4 自适应步长控制器如何提升图数据少样本适应过程中的鲁棒性并防止过拟合？
• RQ5 在少样本学习中，泛化误差与图数据结构性质之间存在何种理论关系？

主要发现

• 在 COIL-DEL 数据集的 5-way-10-shot 设置下，AS-MAML 达到 88.7% 的测试准确率，优于微调基线 3.06%，也优于非自适应版本（AS-MAML wo/AS）2.28%。
• 在 COIL-DEL 数据集的 5-way-5-shot 设置下，该方法实现 85.3% 的测试准确率，较非自适应基线提升 3.51%。
• 消融研究证实，自适应步长控制器显著提升性能，控制器通过基于 ANI 反馈动态调整步数，有效减少过拟合。
• 对未见类别的潜在表示可视化表明，模型学习到了具有判别性的、子结构感知的嵌入。
• 在 TRIANGLES 和 Letter-High 数据集上，AS-MAML 显著优于基于 GSM 的方法（Chauhan et al., 2020），尤其在 TRIANGLES 数据集上（三角形子结构占主导）优势明显。
• ANI 度量与分类准确率呈正相关，表明更高的 ANI 对应更优的图嵌入，即使准确率本身可能因过拟合而具有误导性。