[论文解读] ECKPN: Explicit Class Knowledge Propagation Network for Transductive Few-shot Learning

Chaofan Chen, Xiaoshan Yang+3 more|arXiv (Cornell University)|Jun 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 6

一句话总结

该论文提出ECKPN，一种新颖的归纳式 few-shot 学习框架，通过比较、压缩与校准模块的流水线，显式建模类别级知识。通过学习判别性类别表征并利用基于图的消息传递进行传播，ECKPN在四个基准上实现最先进性能，在5-way 1-shot设置下相比先前方法最高提升1.5%准确率。

ABSTRACT

Recently, the transductive graph-based methods have achieved great success in the few-shot classification task. However, most existing methods ignore exploring the class-level knowledge that can be easily learned by humans from just a handful of samples. In this paper, we propose an Explicit Class Knowledge Propagation Network (ECKPN), which is composed of the comparison, squeeze and calibration modules, to address this problem. Specifically, we first employ the comparison module to explore the pairwise sample relations to learn rich sample representations in the instance-level graph. Then, we squeeze the instance-level graph to generate the class-level graph, which can help obtain the class-level visual knowledge and facilitate modeling the relations of different classes. Next, the calibration module is adopted to characterize the relations of the classes explicitly to obtain the more discriminative class-level knowledge representations. Finally, we combine the class-level knowledge with the instance-level sample representations to guide the inference of the query samples. We conduct extensive experiments on four few-shot classification benchmarks, and the experimental results show that the proposed ECKPN significantly outperforms the state-of-the-art methods.

研究动机与目标

• 为解决现有归纳式图-based few-shot 学习方法忽略全局类别级知识的局限性。
• 显式学习并传播类别级视觉与语义知识，以提升查询样本的分类性能。
• 设计一种模块化、端到端的图神经网络，整合实例级与类别级知识，以实现更好的 few-shot 泛化能力。
• 证明显式建模类别级知识可增强模型在低样本场景下的鲁棒性与准确率。

提出的方法

• 比较模块利用多头关系捕捉实例级图中的细粒度成对样本关系，支持跨视觉特征维度的组内特征聚合。
• 压缩模块通过按类别聚合支持样本，将实例级图压缩为类别级图，形成初始类别级表征。
• 校准模块利用学习到的类别嵌入显式建模类别间关系，优化类别级知识以提升判别能力。
• 通过融合视觉特征与文本嵌入（如来自CLIP的）构建多模态类别表征，以丰富类别级知识。
• 最终推理将实例级样本表征与校准后的类别级知识相结合，用于查询分类。
• 模型采用元学习进行端到端训练，采用课程式训练，每个课程包含一个支持集与一个查询集，以实现 few-shot 适应。

实验结果

研究问题

• RQ1 显式建模类别级知识是否能超越实例级关系，提升 few-shot 分类性能？
• RQ2 在类别级同时引入视觉与语义知识，对低样本场景下的模型泛化能力有何影响？
• RQ3 具有多头关系的结构化消息传递在捕捉细粒度样本比较方面有何贡献？
• RQ4 压缩与校准模块在归纳式 few-shot 学习中各自对性能的贡献如何？

主要发现

• ECKPN在四个 few-shot 基准上实现最先进性能，包括在 miniImageNet 上使用 Conv-4 时达到 68.89% 准确率（5-way 1-shot），使用 ResNet-12 时达到 70.48%。
• 与无校准模块的基线相比，校准模块在使用 Conv-4 和 ResNet-12 主干网络时，分别提升准确率 0.65% 和 0.72%。
• 移除压缩与校准模块（即 None-Class 变体）后，Conv-4 与 ResNet-12 上的准确率分别下降 1.57% 和 1.36%，证明其关键作用。
• 在比较模块中使用 8 头关系可实现准确率与复杂度之间的最优权衡，性能在此配置下达到峰值。
• 多模态类别知识（视觉 + 文本）贡献显著，消融实验表明同时使用两种模态时性能提升 0.7–0.9%。
• 比较模块中消息传递层数达到 6 层后，模型性能趋于稳定，表明该深度足以支持表征学习。