[论文解读] On the Exploration of Incremental Learning for Fine-grained Image Retrieval

Wei Chen, Yu Liu+4 more|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用 9

一句话总结

本文提出了一种新颖的增量学习框架，用于细粒度图像检索，可在不访问原始类别数据的情况下缓解灾难性遗忘。通过结合来自原始网络软标签的知识蒸馏与基于最大均值差异（MMD）的正则化以对齐特征分布，该方法在保持旧类别性能的同时，在新类别上实现了优异的准确率，在CUB-Birds和Stanford Cars数据集上优于现有方法。

ABSTRACT

In this paper, we consider the problem of fine-grained image retrieval in an incremental setting, when new categories are added over time. On the one hand, repeatedly training the representation on the extended dataset is time-consuming. On the other hand, fine-tuning the learned representation only with the new classes leads to catastrophic forgetting. To this end, we propose an incremental learning method to mitigate retrieval performance degradation caused by the forgetting issue. Without accessing any samples of the original classes, the classifier of the original network provides soft "labels" to transfer knowledge to train the adaptive network, so as to preserve the previous capability for classification. More importantly, a regularization function based on Maximum Mean Discrepancy is devised to minimize the discrepancy of new classes features from the original network and the adaptive network, respectively. Extensive experiments on two datasets show that our method effectively mitigates the catastrophic forgetting on the original classes while achieving high performance on the new classes.

研究动机与目标

• 解决在逐步增加新类别时，细粒度图像检索中出现的灾难性遗忘问题。
• 在无法访问其训练样本的情况下，保持原始类别上的高检索性能。
• 通过增量学习实现对新类别的高效适应，避免耗时的联合重训练。
• 开发一种对细粒度识别中典型的细微视觉差异具有鲁棒性的方法。
• 在检索准确率与遗忘缓解方面超越现有增量学习方法。

提出的方法

• 通过原始网络分类器的软标签进行知识蒸馏，将知识传递给自适应网络。
• 引入最大均值差异（MMD）正则化，以最小化原始网络与自适应网络之间特征分布的差异。
• 采用交叉熵损失与三元组损失，以增强特征空间中的细粒度判别能力。
• 仅在新类别上训练自适应网络，且不访问原始类别的数据。
• 在统一的优化目标中结合蒸馏损失与MMD损失，以平衡遗忘防止与新类别适应。
• 使用原始模型的冻结权重初始化自适应网络，以保留已学习的表征。

实验结果

研究问题

• RQ1 是否可以在不重训原始数据的情况下，有效将增量学习应用于细粒度图像检索？
• RQ2 在特征判别能力至关重要的检索任务中，如何缓解灾难性遗忘？
• RQ3 基于MMD的特征分布正则化在旧类别与新类别上的性能提升程度如何？
• RQ4 在检索特定设置中，蒸馏与MMD损失与LwF和EWC等标准方法相比表现如何？
• RQ5 何种超参数设置能实现旧类别与新类别性能之间的最佳权衡？

主要发现

• 当添加100个新类别时，所提方法在原始类别上达到74.41% Recall@1，在新类别上达到73.11% Recall@1，接近联合训练的77.33% Recall@1。
• 引入MMD正则化后，原始类别性能提升至73.36% Recall@1，相比基线微调方法相对提升19.4%。
• 消融研究显示，结合蒸馏与MMD损失的性能最佳，优于仅使用单一损失组件的方法。
• 超参数敏感性分析表明，MMD权重（β）对性能权衡的影响强于蒸馏权重（α）。
• 与联合重训相比，该方法将训练时间减少了约50%，同时保持了高检索准确率。
• 在Stanford Cars数据集上，该方法在性能上优于LwF与EWC，尤其在保持原始类别性能方面表现更优。