[论文解读] Few-shot Fine-grained Image Classification via Multi-Frequency Neighborhood and Double-cross Modulation

Hegui Zhu, Zhan Gao+3 more|arXiv (Cornell University)|Jul 18, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 FicNet，一种使用多频邻域（MFN）和双交叉调制（DCM）的少样本细粒度图像分类模型，以增强特征表示与对齐。MFN 通过捕捉空间与频域结构模式，减少类内差异；DCM 则利用双交叉卷积与三维交叉注意力，结合全局上下文与任务特定注意力调制特征，实现在 CUB-200 上 93.17% 的准确率与在 Stanford Cars 上 95.36% 的准确率，超越通用细粒度方法。

ABSTRACT

Traditional fine-grained image classification typically relies on large-scale training samples with annotated ground-truth. However, some sub-categories have few available samples in real-world applications, and current few-shot models still have difficulty in distinguishing subtle differences among fine-grained categories. To solve this challenge, we propose a novel few-shot fine-grained image classification network (FicNet) using multi-frequency neighborhood (MFN) and double-cross modulation (DCM). MFN focuses on both spatial domain and frequency domain to capture multi-frequency structural representations, which reduces the influence of appearance and background changes to the intra-class distance. DCM consists of bi-crisscross component and double 3D cross-attention component. It modulates the representations by considering global context information and inter-class relationship respectively, which enables the support and query samples respond to the same parts and accurately identify the subtle inter-class differences. The comprehensive experiments on three fine-grained benchmark datasets for two few-shot tasks verify that FicNet has excellent performance compared to the state-of-the-art methods. Especially, the experiments on two datasets, "Caltech-UCSD Birds" and "Stanford Cars", can obtain classification accuracy 93.17\% and 95.36\%, respectively. They are even higher than that the general fine-grained image classification methods can achieve.

研究动机与目标

• 解决少样本细粒度图像分类中子类别训练样本极少且视觉差异细微的挑战。
• 减少真实世界数据中外观与背景变化引起的类内差异。
• 通过聚焦支持图像与查询图像中局部判别性部件，提升类间判别能力。
• 通过学习鲁棒且对齐的表示，实现在无需部件标注或边界框的情况下准确分类。
• 通过结构化注意力与频域感知特征学习，在模型性能与计算效率之间取得平衡。

提出的方法

• 多频邻域（MFN）通过谱分析将特征图分解为多频分量，以提取紧凑且平滑的结构模式。
• MFN 利用邻域内的自相似性增强鲁棒性，抑制无关的外观与背景变化。
• 双交叉调制（DCM）结合双交叉卷积（BCC）与双 3D 交叉注意力（DCA），利用全局上下文与任务特定关系调制特征。
• BCC 使用交叉卷积从各个方向逐步聚合上下文，提升特征完整性。
• DCA 使用 3D 双交叉卷积精炼 4D 交叉相关张量，在保留几何细节的同时聚焦于判别区域。
• DCM 模块实现了支持与查询特征之间的跨注意力，即使在视角或遮挡差异下也能对齐相同物体部件的响应。

实验结果

研究问题

• RQ1 多频特征表示能否减少少样本细粒度分类中由背景与外观变化引起的类内差异？
• RQ2 如何联合建模全局上下文与任务特定注意力，以改善支持与查询图像之间的特征对齐？
• RQ3 3D 双交叉注意力是否在保留空间细节与提升判别能力方面优于标准交叉注意力机制？
• RQ4 双交叉上下文聚合在多大程度上增强了特征完整性与分类准确率？
• RQ5 所提方法是否能在无需部件级标注的情况下实现最先进性能？

主要发现

• 在 CUB-200 数据集的 5-shot 设置下，FicNet 达到 93.17% 的准确率，超越通用细粒度分类方法的性能。
• 在 Stanford Cars 数据集上，FicNet 在 5-shot 设置下达到 95.36% 的准确率，展现出在复杂车辆类别上的强大泛化能力。
• 消融实验表明，DCM 中结合 BCC 与 DCA 相较基线在 1-shot 与 5-shot 任务上分别提升准确率 2.06% 与 2.3%。
• 在 BCC 中使用两次交叉操作（L=2）实现了最优性能，同时保持最小的内存与时间开销，兼顾效率与准确率。
• 将标准交叉注意力模块（如 CAN 与 CCA）替换为 DCA，分别在 CUB-200 与 mini-ImageNet 上提升准确率 0.71% 与 0.34%。
• 完整 FicNet 模型结合 MFN、BCC 与 DCA，在 CUB-200 上实现 1-shot 时 80.97% 的准确率与 5-shot 时 93.17% 的准确率，优于最先进方法。