[论文解读] Few-shot Learning for Domain-specific Fine-grained Image Classification

Xin Sun, Hongwei Xv+3 more|arXiv (Cornell University)|Jul 23, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用 5

一句话总结

本文提出一种结合中心邻域损失的特征融合模型，用于特定领域场景下的少样本细粒度图像分类，通过聚焦区域定位与高阶特征整合，提升判别性表征能力。在新构建的真实世界数据集 miniPPlankton 上评估，该方法在 5-shot 学习设置下达到 75.56% 的 top-1 准确率，显著优于当前最先进模型。

ABSTRACT

Learning to recognize novel visual categories from a few examples is a challenging task for machines in real-world industrial applications. In contrast, humans have the ability to discriminate even similar objects with little supervision. This paper attempts to address the few shot fine-grained image classification problem. We propose a feature fusion model to explore discriminative features by focusing on key regions. The model utilizes the focus area location mechanism to discover the perceptually similar regions among objects. High-order integration is employed to capture the interaction information among intra-parts. We also design a Center Neighbor Loss to form robust embedding space distributions. Furthermore, we build a typical fine-grained and few-shot learning dataset miniPPlankton from the real-world application in the area of marine ecological environments. Extensive experiments are carried out to validate the performance of our method. The results demonstrate that our model achieves competitive performance compared with state-of-the-art models. Our work is a valuable complement to the model domain-specific industrial applications.

研究动机与目标

• 为解决特定工业应用中少样本细粒度图像分类的挑战，特别是在海洋生态学领域中的应用。
• 通过注意力机制聚焦判别性区域并实现高阶整合，提升特征表征能力。
• 设计一种鲁棒的损失函数（中心邻域损失），以优化新类别在嵌入空间中的分布。
• 基于真实的海洋生态数据，构建一个真实、特定领域的少样本数据集（miniPPlankton），用于基准测试。

提出的方法

• 所提出的特征融合模型采用聚焦区域定位机制，识别细粒度物体间感知相似的区域，提升对判别性部分的关注。
• 应用高阶整合以捕捉物体内部各部分之间的关系，增强局部特征表征能力。
• 中心邻域损失在训练过程中惩罚难以接近类别中心的样本，促进特征分布更加紧凑与鲁棒。
• 使用 Grad-CAM 生成新支持样本的聚焦区域热力图，引导模型关注关键物体区域。
• 以 ResNet18 主干网络结合余弦分类器作为基线，通过引入所提模块提升少样本泛化能力。
• 采用元训练方式端到端训练模型，通过 5 类 1-shot 和 5-shot 任务模拟少样本学习场景。

实验结果

研究问题

• RQ1 结合聚焦区域定位的特征融合模型是否能提升在真实世界特定领域数据集上的少样本细粒度分类性能？
• RQ2 高阶整合在捕捉具有高类别间相似性的细粒度视觉类别内部关系方面是否有效？
• RQ3 与标准度量学习损失相比，所提出的中心邻域损失是否能带来更紧凑、更鲁棒的特征空间分布？
• RQ4 在标注样本有限的条件下，该方法在真实世界海洋生物图像分类任务中的泛化能力如何？
• RQ5 与现有最先进方法相比，该方法在新构建的真实少样本细粒度数据集（miniPPlankton）上的表现如何？

主要发现

• 所提模型在 5-shot miniPPlankton 基准测试中达到 75.56% 的 top-1 准确率，较之前最先进方法（Imprint）高出 2.83 个百分点。
• 采用中心邻域损失与基于注意力的特征融合的模型，显著降低了相似甲藻类物种之间的误分类，尤其在 pleurosigma-pelagicum 与 nitzschioides 等挑战性类别上准确率得到提升。
• 高阶整合模块在 miniPPlankton 上表现欠佳，可能由于甲藻类生物形状不封闭（与背景交织），干扰了内部特征学习。
• 可视化结果表明，模型成功学习到关注关键形态区域（如细胞结构与刺状突起），这些特征对区分相似甲藻类物种至关重要。
• 混淆矩阵分析证实，该模型显著减少了跨类别误分类，尤其在视觉上相似的类别（如类别 5 和 6）之间。
• miniPPlankton 数据集为细粒度少样本学习提供了真实挑战，具有高类别间相似性与复杂背景干扰，验证了其在特定领域应用中的有效性。