[论文解读] Continual Universal Object Detection

Xialei Liu, Hao Yang+3 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Neural Network Applications参考文献 17被引用 7

一句话总结

该论文提出了一种持续通用目标检测框架，通过结合自下而上和自上而下的注意力机制进行有关注的特征蒸馏，并采用自适应原型采样策略，在跨多种领域的连续学习过程中有效缓解灾难性遗忘。该方法在七个目标检测数据集上，于三种具有挑战性的持续学习场景中均取得了优异性能。

ABSTRACT

Object detection has improved significantly in recent years on multiple challenging benchmarks. However, most existing detectors are still domain-specific, where the models are trained and tested on a single domain. When adapting these detectors to new domains, they often suffer from catastrophic forgetting of previous knowledge. In this paper, we propose a continual object detector that can learn sequentially from different domains without forgetting. First, we explore learning the object detector continually in different scenarios across various domains and categories. Learning from the analysis, we propose attentive feature distillation leveraging both bottom-up and top-down attentions to mitigate forgetting. It takes advantage of attention to ignore the noisy background information and feature distillation to provide strong supervision. Finally, for the most challenging scenarios, we propose an adaptive exemplar sampling method to leverage exemplars from previous tasks for less forgetting effectively. The experimental results show the excellent performance of our proposed method in three different scenarios across seven different object detection datasets.

研究动机与目标

• 解决在不同领域间顺序学习时目标检测器出现灾难性遗忘的问题。
• 开发一种可泛化于多样化目标类别和领域的通用检测框架。
• 通过注意力机制和基于原型的知识蒸馏，提升持续学习中的知识保留能力。
• 在存在领域漂移和概念漂移的具有挑战性的持续学习场景中评估该方法。

提出的方法

• 提出一种有关注特征蒸馏方法，利用自下而上和自上而下的注意力机制，抑制噪声背景特征并增强特征知识迁移。
• 将特征蒸馏作为强监督信号，以在学习新任务时保留先前任务的知识。
• 引入一种自适应原型采样策略，动态选择先前任务中的代表性样本，以实现有效的知识保留。
• 应用注意力机制聚焦于判别性特征，减少无关或噪声区域的干扰。
• 设计一种统一框架，支持在多个数据集和领域间进行持续学习，而无需针对特定任务重新训练。
• 采用双注意力机制，提升旧任务与新任务表示之间的特征对齐。

实验结果

研究问题

• RQ1 如何在多个领域间持续训练目标检测器，而不会出现灾难性遗忘？
• RQ2 自下而上和自上而下的注意力机制在持续学习过程中减少遗忘方面发挥什么作用？
• RQ3 自适应原型采样在保留先前任务知识方面有多有效？
• RQ4 统一检测器是否能在持续学习设置中泛化于多样化的目标类别和领域？
• RQ5 在多个基准上的持续目标检测性能极限是什么？

主要发现

• 所提方法在七个目标检测数据集的三种持续学习场景中均达到当前最优性能。
• 有关注特征蒸馏通过聚焦于相关特征并抑制背景噪声，显著减少了遗忘。
• 自适应原型采样策略在具有挑战性的领域漂移场景中显著提升了知识保留能力。
• 该模型在所有任务中均保持了较高的mAP，表现出强大的泛化能力和稳定性。
• 在平均准确率和遗忘减少方面，该方法优于现有的持续学习基线方法。
• 消融实验验证了注意力机制和原型采样在最小化性能下降方面的有效性。