[论文解读] Hierarchical Representation based Query-Specific Prototypical Network for Few-Shot Image Classification

Yaohui Li, Huaxiong Li+2 more|arXiv (Cornell University)|Mar 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 4

一句话总结

本文提出了一种查询特定原型网络（Query-Specific Prototypical Network, QPN），通过分层特征表示和基于注意力的区域选择，生成与查询相关的区域级原型，从而提升少样本图像分类性能。通过实现位置和尺度上的语义对齐，QPN在五个基准数据集（包括细粒度数据集）上超越了当前最先进方法，在 miniImageNet 数据集的 5 类 1 样本设置下达到 54.92% 的准确率。

ABSTRACT

Few-shot image classification aims at recognizing unseen categories with a small number of labeled training data. Recent metric-based frameworks tend to represent a support class by a fixed prototype (e.g., the mean of the support category) and make classification according to the similarities between query instances and support prototypes. However, discriminative dominant regions may locate uncertain areas of images and have various scales, which leads to the misaligned metric. Besides, a fixed prototype for one support category cannot fit for all query instances to accurately reflect their distances with this category, which lowers the efficiency of metric. Therefore, query-specific dominant regions in support samples should be extracted for a high-quality metric. To address these problems, we propose a Hierarchical Representation based Query-Specific Prototypical Network (QPN) to tackle the limitations by generating a region-level prototype for each query sample, which achieves both positional and dimensional semantic alignment simultaneously. Extensive experiments conducted on five benchmark datasets (including three fine-grained datasets) show that our proposed method outperforms the current state-of-the-art methods.

研究动机与目标

• 解决基于度量的少样本学习中固定原型的局限性，后者无法捕捉与查询相关的判别性区域。
• 克服因图像间物体尺度和位置差异导致的特征空间错位问题。
• 通过过滤无关背景区域并聚焦于语义相关、具有判别性的区域，提升度量效率。
• 通过学习可迁移的、与查询自适应的表示，实现跨领域鲁棒泛化。
• 用轻量级的分层池化策略替代复杂的多尺度模块，在参数更少的情况下保持性能。

提出的方法

• 采用卷积块注意力模块（CBAM）识别支持集和查询特征中的判别性关键区域。
• 计算查询区域与支持区域之间的局部相似性，以选择与查询相关的支持区域用于原型生成。
• 通过基于其与查询相似性的重加权方式，构建与查询相关的原型。
• 通过多尺度最大池化实现分层表示，以捕捉尺度不变特征，且不显著增加参数量。
• 引入可学习的生成系数（ξ）以平衡不同特征尺度在最终表示中的影响。
• 采用余弦相似度作为度量函数，计算查询特征与查询特定原型之间的距离。

实验结果

研究问题

• RQ1 通过适应每个查询独特的空间和语义特征，查询特定原型能否提升少样本分类性能？
• RQ2 分层多尺度表示在提升对判别性区域尺度变化的鲁棒性方面有何作用？
• RQ3 通过注意力机制和局部相似性过滤无关区域，在多大程度上提升了度量准确性？
• RQ4 与现有少样本学习基线方法相比，该方法在跨领域泛化方面是否表现更优？
• RQ5 轻量级的分层池化机制能否在参数更少的情况下，超越如 Inception Operator 等复杂多尺度模块？

主要发现

• 在 miniImageNet 的 5 类 1 样本设置下，QPN 达到 54.92% 的准确率，超越此前最先进方法（54.08%）的高斯相似度结果。
• 在 5 类 5 样本设置下，QPN 达到 73.18% 的准确率，优于所有对比方法，包括使用更强主干网络的方法。
• 在跨领域评估中（miniImageNet → CUB-200-2011），QPN 达到 66.19% 的准确率，较基线方法高出 0.62 个百分点。
• QPN 仅使用 0.150M 可训练参数，相比 GCR（1.755M）更参数高效，且与 ProtoNet 等简单模型相当。
• 消融实验表明，生成系数 ξ 对性能影响适中，最优值约为 5–7。
• 余弦相似度相比高斯相似度表现更优，在 1 样本设置下提升 0.84%，在 5 样本设置下提升 0.55%。