[论文解读] Multi-scale Adaptive Task Attention Network for Few-Shot Learning

Haoxing Chen, Huaxiong Li+2 more|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用 15

一句话总结

该论文提出了一种新型少样本学习框架——多尺度自适应任务注意力网络（MATANet），通过联合利用多尺度局部表征与任务感知注意力机制，动态强调不同尺度下最具判别性的特征，从而增强度量学习。MATANet在标准基准上取得了最先进性能，在使用ResNet12的情况下，5-way 1-shot任务上达到53.63%的准确率，5-way 5-shot ImageNet任务上达到72.67%。

ABSTRACT

The goal of few-shot learning is to classify unseen categories with few labeled samples. Recently, the low-level information metric-learning based methods have achieved satisfying performance, since local representations (LRs) are more consistent between seen and unseen classes. However, most of these methods deal with each category in the support set independently, which is not sufficient to measure the relation between features, especially in a certain task. Moreover, the low-level information-based metric learning method suffers when dominant objects of different scales exist in a complex background. To address these issues, this paper proposes a novel Multi-scale Adaptive Task Attention Network (MATANet) for few-shot learning. Specifically, we first use a multi-scale feature generator to generate multiple features at different scales. Then, an adaptive task attention module is proposed to select the most important LRs among the entire task. Afterwards, a similarity-to-class module and a fusion layer are utilized to calculate a joint multi-scale similarity between the query image and the support set. Extensive experiments on popular benchmarks clearly show the effectiveness of the proposed MATANet compared with state-of-the-art methods.

研究动机与目标

• 解决现有基于局部表征的方法在任务间对所有局部特征一视同仁的问题，而忽略其判别相关性。
• 克服图像中主要物体尺度变化带来的挑战，该问题在复杂背景中会显著影响性能。
• 通过建模整个任务上下文中的特征间关系，而非独立处理每个支持样本，从而提升少样本分类性能。
• 实现端到端学习与任务相关的多尺度局部表征，以在少量标注样本下实现更好的泛化能力。

提出的方法

• 采用多尺度特征生成器，从查询图像和支持图像中提取多个空间尺度下的局部表征（LRs）。
• 引入自适应任务注意力模块，为每个局部表征计算任务感知注意力分数，突出最相关于当前分类任务的特征。
• 构建语义关系矩阵，衡量在任务上下文中所有局部表征之间查询与支持特征的相似性。
• 实现相似度到类别模块，通过加权聚合将多尺度相似度映射为类别级别预测。
• 应用自适应融合层，基于学习到的注意力权重组合多尺度相似度，提升对尺度变化的鲁棒性。
• 使用交叉熵损失进行端到端训练以实现分类任务，同时联合优化注意力机制。

实验结果

研究问题

• RQ1 如何根据给定少样本任务中局部表征的判别相关性，实现其动态加权？
• RQ2 当图像中主要物体的尺度存在变化时，多尺度特征表征在少样本分类中的性能提升程度如何？
• RQ3 通过聚焦于最具信息量的局部特征而非同等对待所有局部表征，任务感知注意力机制在多大程度上能提升性能？
• RQ4 与单尺度或均匀加权基线方法相比，多尺度特征与自适应注意力机制的融合在少样本学习中的表现如何？

主要发现

• 在使用ResNet12的情况下，MATANet在5-way 1-shot mini-ImageNet基准上达到53.63%的准确率，优于相同设置下的最先进方法。
• 在5-way 5-shot设置下，MATANet使用ResNet12达到72.67%的准确率，展现出在有限支持样本下的强大泛化能力。
• 消融实验表明，移除自适应任务注意力模块后，1-shot任务准确率下降3.7%，5-shot任务下降4.8%，证实其关键作用。
• 多尺度特征生成器贡献显著，其引入使1-shot任务准确率提升1.3%，5-shot任务提升0.9%。
• 相似度到类别模块在1-shot任务中带来1.1%的提升，在5-shot任务中带来0.8%的提升，验证了其在类别级聚合中的有效性。
• 余弦相似度是自适应注意力模块中最优的度量函数，在消融实验中优于欧氏距离和Tanimoto指数。