[论文解读] Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification

Jijie Wu, Dongliang Chang+6 more|arXiv (Cornell University)|Nov 30, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种双向特征重建网络（Bi-FRN），用于细粒度少样本图像分类，引入了一种相互重建机制，通过支持集到查询集的重建来同时增加类间差异性（inter-class variations），并通过查询集到支持集的重建来减少类内差异性（intra-class variations）。该方法在三个基准数据集上实现了最先进性能，通过双通道特征重建和自重建模块，学习到更具判别性的细粒度特征，显著优于以往基于重建和基于度量的方法。

ABSTRACT

The main challenge for fine-grained few-shot image classification is to learn feature representations with higher inter-class and lower intra-class variations, with a mere few labelled samples. Conventional few-shot learning methods however cannot be naively adopted for this fine-grained setting -- a quick pilot study reveals that they in fact push for the opposite (i.e., lower inter-class variations and higher intra-class variations). To alleviate this problem, prior works predominately use a support set to reconstruct the query image and then utilize metric learning to determine its category. Upon careful inspection, we further reveal that such unidirectional reconstruction methods only help to increase inter-class variations and are not effective in tackling intra-class variations. In this paper, we for the first time introduce a bi-reconstruction mechanism that can simultaneously accommodate for inter-class and intra-class variations. In addition to using the support set to reconstruct the query set for increasing inter-class variations, we further use the query set to reconstruct the support set for reducing intra-class variations. This design effectively helps the model to explore more subtle and discriminative features which is key for the fine-grained problem in hand. Furthermore, we also construct a self-reconstruction module to work alongside the bi-directional module to make the features even more discriminative. Experimental results on three widely used fine-grained image classification datasets consistently show considerable improvements compared with other methods. Codes are available at: https://github.com/PRIS-CV/Bi-FRN.

研究动机与目标

• 为解决现有少样本学习方法在细粒度图像分类中的局限性，即模型无意中增加了类内差异性并减少了类间差异性。
• 克服单向重建方法的不足，这些方法仅增加类间差异性，但未能有效减少类内差异性。
• 提出一种新颖的双向重建机制，同时增强类间判别性并抑制细粒度特征中的类内可变性。
• 通过集成自重建模块与相互重建模块，提升特征判别性，实现更鲁棒的表征学习。

提出的方法

• 该模型采用双向特征重建机制：从支持特征重建查询特征以增加类间差异性，从查询特征重建支持特征以减少类内差异性。
• 引入特征相互重建模块（FMRM），通过结合两个方向的重建误差的加权损失函数，联合优化两个重建方向。
• 增加一个自重建模块（FSRM），通过从自身表征中重建特征，进一步增强特征判别性。
• 框架使用特征提取主干网络（如 Conv-4 或 ResNet-12），随后进行度量学习以实现分类，重建损失在特征层面应用。
• 重建过程使用可学习解码器（反向 ResNet）从特征中恢复图像，以实现可视化并验证重建保真度。
• 整体训练目标结合了度量学习损失与双重重建损失，通过超参数平衡类间与类内学习动态。

实验结果

研究问题

• RQ1 双向重建机制是否能有效减少细粒度少样本学习中的类内差异性，同时增加类间差异性？
• RQ2 查询到支持的重建方式与传统支持到查询的重建方式相比，在提升特征判别性方面表现如何？
• RQ3 在缺乏强监督的情况下，自重建模块的引入在多大程度上提升了特征质量？
• RQ4 与单向或基线方法相比，相互重建机制是否能生成更局部化且语义一致的注意力图？
• RQ5 在 1-shot 和 5-shot 设置下，该方法在多种细粒度数据集上的表现如何？

主要发现

• 所提出的 Bi-FRN 方法在三个基准数据集（CUB-200-211、Stanford Dogs 和 FG-WILLOW）上均实现了最先进准确率，优于包括 FRN 和 ProtoNet 在内的先前方法。
• 在 CUB-200-211 数据集上，使用 ResNet-12 时，Bi-FRN 在 5 类 1-shot 设置下达到 86.7% 的准确率，在 5 类 5-shot 设置下达到 92.1% 的准确率。
• 消融研究证实，FSRM 和 FMRM 模块均至关重要，当任一模块被移除时性能显著下降，表明其互补作用。
• 相互重建模块（FMRM）优于单向变体（仅 S→Q 或 Q→S），证明双向学习在细粒度特征学习中更具有效性。
• 可视化结果表明，同类别样本的重建特征在语义上保持一致，而不同类别样本的重建特征则明显不同，证实了模型学习到鲁棒且类别对齐表征的能力。
• 基于解码器的图像恢复实验验证了重建特征保留了结构和语义细节，尤其在同类别样本重建中表现更优。