[论文解读] Rich Semantics Improve Few-shot Learning

Mohamed Afham, Salman Khan+3 more|arXiv (Cornell University)|Apr 26, 2021

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出 RS-FSL，一种少样本学习框架，通过使用类别级别的自然语言描述作为辅助训练信号，提升模型泛化能力。通过训练双向 Transformer 从混合视觉-语义原型生成描述，模型学习到更解耦、更符合人类理解的表征，起到正则化作用，使在标准少样本基准上的准确率相比基线最高提升 5.97%。

ABSTRACT

Human learning benefits from multi-modal inputs that often appear as rich semantics (e.g., description of an object's attributes while learning about it). This enables us to learn generalizable concepts from very limited visual examples. However, current few-shot learning (FSL) methods use numerical class labels to denote object classes which do not provide rich semantic meanings about the learned concepts. In this work, we show that by using 'class-level' language descriptions, that can be acquired with minimal annotation cost, we can improve the FSL performance. Given a support set and queries, our main idea is to create a bottleneck visual feature (hybrid prototype) which is then used to generate language descriptions of the classes as an auxiliary task during training. We develop a Transformer based forward and backward encoding mechanism to relate visual and semantic tokens that can encode intricate relationships between the two modalities. Forcing the prototypes to retain semantic information about class description acts as a regularizer on the visual features, improving their generalization to novel classes at inference. Furthermore, this strategy imposes a human prior on the learned representations, ensuring that the model is faithfully relating visual and semantic concepts, thereby improving model interpretability. Our experiments on four datasets and ablation studies show the benefit of effectively modeling rich semantics for FSL.

研究动机与目标

• 解决仅使用数值类别标签而非丰富语义描述所导致的少样本学习中的语义鸿沟问题。
• 通过在训练过程中引入低成本、人类可读的类别级描述，提升模型对新类别的泛化能力。
• 通过要求模型预测支持集原型的自然语言描述，增强视觉特征学习的一致性。
• 通过生成的描述实现对模型预测错误的属性分析，提升模型可解释性。
• 提供即插即用的模块，在不改变网络架构的前提下提升多个少样本学习基线模型的性能。

提出的方法

• 通过可学习聚合机制融合支持集和查询图像特征，构建混合视觉-语义原型。
• 训练双向 Transformer 解码器，从混合原型生成自然语言描述，建模视觉与语义标记之间的长距离依赖关系。
• 在训练过程中将语言描述生成作为辅助任务，正则化视觉特征学习，提升泛化能力。
• 在 Transformer 中实现双向注意力机制，实现视觉特征与语言标记之间的双向交互。
• 端到端训练模型，对语言生成任务使用交叉熵损失，同时保持主分类目标。
• 推理时丢弃语言解码器，但保留其用于模型预测的可解释性分析与错误诊断。

实验结果

研究问题

• RQ1 通过自然语言描述建模丰富的语义属性，能否提升少样本学习的泛化能力？
• RQ2 将类别级描述作为辅助任务，对视觉特征的判别能力与迁移能力有何影响？
• RQ3 双向与单向语言解码在少样本学习性能上的差异是什么？
• RQ4 类别级描述的数量对模型准确率与性能饱和点有何影响？
• RQ5 所提方法能否在不修改网络架构的前提下有效集成到现有少样本学习基线上？

主要发现

• 所提 RS-FSL 方法在 CUB 数据集上实现了 63.86% 的平均 5 类 1 样本准确率，相比无语义信息的基线 ProtoNet 提升 5.97%。
• 与单向解码相比，使用双向 Transformer 解码使性能提升 1.83%，证明视觉与语言标记之间双向交互的优势。
• 性能在 20 个类别级描述时达到峰值，之后趋于饱和，表明超过适度数量后收益递减。
• 使用两层 Transformer 解码器的模型达到最高准确率（63.86%），而更深模型（3–5 层）因在小数据集上过拟合而表现更差。
• 该方法在性能上优于其他辅助自监督技术，包括旋转预测、词嵌入和基于 GRU 的语言建模，分别领先 4.6%、3.61% 和 2.62%。
• 尽管训练时间增加 1 小时（5 小时 vs. 基线的 4 小时），该方法在 miniImageNet 上仍实现 2% 的性能增益，表明其成本-收益权衡具有优势。