[论文解读] AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning

Jianhong Zhang, Manli Zhang+3 more|arXiv (Cornell University)|Feb 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用 4

一句话总结

本论文提出 AdarGCN，一种新型图卷积网络，采用自适应聚合机制，用于在一种新设定——少样本少样本学习（FSFSL）中的少样本学习，其中源类和目标类的训练样本均有限。通过结合经图卷积网络（GCN）方法进行标签去噪后的网络爬取噪声图像与干净数据，并利用 AdarGCN 的多头、多层级自适应聚合机制抑制噪声和异常值，该模型在 mini-ImageNet 和 CUB 数据集上实现了最先进性能，准确率分别达到 71.48% 和 78.04%，即使在传统少样本学习（FSL）设定下也优于基线方法。

ABSTRACT

Existing few-shot learning (FSL) methods assume that there exist sufficient training samples from source classes for knowledge transfer to target classes with few training samples. However, this assumption is often invalid, especially when it comes to fine-grained recognition. In this work, we define a new FSL setting termed few-shot fewshot learning (FSFSL), under which both the source and target classes have limited training samples. To overcome the source class data scarcity problem, a natural option is to crawl images from the web with class names as search keywords. However, the crawled images are inevitably corrupted by large amount of noise (irrelevant images) and thus may harm the performance. To address this problem, we propose a graph convolutional network (GCN)-based label denoising (LDN) method to remove the irrelevant images. Further, with the cleaned web images as well as the original clean training images, we propose a GCN-based FSL method. For both the LDN and FSL tasks, a novel adaptive aggregation GCN (AdarGCN) model is proposed, which differs from existing GCN models in that adaptive aggregation is performed based on a multi-head multi-level aggregation module. With AdarGCN, how much and how far information carried by each graph node is propagated in the graph structure can be determined automatically, therefore alleviating the effects of both noisy and outlying training samples. Extensive experiments show the superior performance of our AdarGCN under both the new FSFSL and the conventional FSL settings.

研究动机与目标

• 为解决现有少样本学习（FSL）方法假设源类数据充足这一局限，该假设在细粒度识别任务中通常不成立。
• 提出一种新的 FSL 设定——少样本少样本学习（FSFSL），其中源类和目标类的训练样本均仅有限。
• 通过基于图卷积网络的标签去噪（LDN）方法，减轻用于增强有限源类数据的网络爬取图像中的噪声影响。
• 设计一种鲁棒的 FSL 模型，通过在 GCN 框架中引入自适应聚合机制，有效处理增强训练数据中的残留噪声。
• 证明所提出的 AdarGCN 模型不仅在具有挑战性的 FSFSL 设定下表现更优，且在传统 FSL 设定下也优于基线方法，归因于其对噪声的强鲁棒性。

提出的方法

• 提出两阶段流程：首先，使用类别名称爬取网络图像，并利用基于 GCN 的标签去噪（LDN）模型对图像进行去噪，该模型将干净的源类图像视为正样本，将跨类图像视为负样本。
• 设计一种新型自适应聚合图卷积网络（AdarGCN），其包含多头、多层级聚合模块，可为每个节点学习动态传播权重，实现基于实例的信息流控制。
• 引入带有可学习参数的聚合门控机制，用于融合多个注意力头，使模型能够降低噪声或异常样本节点的影响，限制其传播作用。
• 采用跳跃连接与自适应聚合机制以稳定训练过程，使深层 GCN 架构（最多 7 层）得以实现而不会出现过平滑问题，而标准 GCN 则难以实现。
• 在 LDN 和 FSL 任务中均使用相同的 AdarGCN 模型，利用其在流程两阶段中的抗噪能力。
• 采用多头注意力机制以在不同层学习不同的传播模式，可视化结果表明各注意力头在不同层间具有差异化的权重分布。

实验结果

研究问题

• RQ1 能否通过网络爬取数据有效应对一种新设定——少样本少样本学习（FSFSL），即源类和目标类的标注样本均仅有限？
• RQ2 如何有效清洗网络爬取的噪声图像，使其可作为少样本学习的可靠训练数据？
• RQ3 能否设计一种图卷积网络，使其能够自适应地控制信息传播，以减少少样本学习中噪声或异常样本的影响？
• RQ4 与标准 GCN 相比，GCN 中的自适应聚合是否能带来性能提升并支持更深的网络架构？
• RQ5 当训练数据干净且有限时，所提出的 AdarGCN 模型是否仍能超越最先进少样本学习方法？

主要发现

• 在传统 FSL 设定下，AdarGCN 在 mini-ImageNet 上达到 71.48% 的准确率，在 CUB 上达到 78.04%，优于最先进方法（包括 GCN、EGCN 和 wDAE-GNN）。
• 与现有基于 GCN 的 FSL 方法相比，性能提升 3–5%；与非 GCN 类最先进基线相比，性能提升 1–6%，证明其对噪声和异常样本具有强鲁棒性。
• 在使用 6 层 GCN 时，AdarGCN 在 mini-ImageNet 上达到 72.24% 的准确率，表明自适应聚合机制可实现更深的 GCN 网络而不会出现过平滑问题。
• 可视化结果证实，自适应聚合机制会为特定分支（如分支 c）分配更高权重，从而有效限制异常样本的影响。
• AdarGCN 的性能增益在新设定 FSFSL 和传统 FSL 中均保持一致，证明其通用性与有效性。
• 所提出的两阶段流程——网络数据爬取 + 基于 GCN 的 LDN——在源类数据稀缺时仍能实现有效的知识迁移。