[论文解读] Re-examining Distillation For Continual Object Detection

Eli Verwimp, Kuo Yang+6 more|arXiv (Cornell University)|Apr 4, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文指出，基于蒸馏的持续目标检测方法（如 Faster-ILOD）在分类头处主要由于教师模型产生过于自信的错误预测，从而导致灾难性遗忘。通过引入基于真实边界框的有选择性蒸馏以过滤错误的教师输出，并将均方误差替换为鲁棒的Huber损失，作者在VOC和COCO基准上实现了最先进性能，mAP最高提升3.8个百分点。

ABSTRACT

Training models continually to detect and classify objects, from new classes and new domains, remains an open problem. In this work, we conduct a thorough analysis of why and how object detection models forget catastrophically. We focus on distillation-based approaches in two-stage networks; the most-common strategy employed in contemporary continual object detection work.Distillation aims to transfer the knowledge of a model trained on previous tasks -- the teacher -- to a new model -- the student -- while it learns the new task. We show that this works well for the region proposal network, but that wrong, yet overly confident teacher predictions prevent student models from effective learning of the classification head. Our analysis provides a foundation that allows us to propose improvements for existing techniques by detecting incorrect teacher predictions, based on current ground-truth labels, and by employing an adaptive Huber loss as opposed to the mean squared error for the distillation loss in the classification heads. We evidence that our strategy works not only in a class incremental setting, but also in domain incremental settings, which constitute a realistic context, likely to be the setting of representative real-world problems.

研究动机与目标

• 分析基于蒸馏的持续目标检测模型为何会灾难性地遗忘先前知识。
• 研究在使用蒸馏进行持续学习时，遗忘的根本原因，尤其是分类头中的遗忘问题。
• 识别现有蒸馏技术的局限性，例如过度依赖错误但高度自信的教师预测。
• 提出改进方法，以增强知识迁移，同时最小化错误教师输出带来的干扰。
• 在不依赖回放记忆的情况下，实现类别增量持续目标检测的最先进性能。

提出的方法

• 提出有选择性蒸馏方法，利用特定任务的边界框标注来检测并降低分类头中错误教师预测的影响。
• 将标准的均方误差（MSE）蒸馏损失替换为自适应Huber损失，以提升对噪声或错误教师输出的鲁棒性。
• 将改进后的蒸馏损失集成到Faster-ILOD框架中，该框架是当前最先进的基于蒸馏的持续目标检测方法。
• 使用新任务的真实标签和经校正的教师模型蒸馏信号联合训练学生模型。
• 在两阶段目标检测器中端到端应用该方法，重点聚焦于遗忘最严重的分类头。
• 在VOC和COCO等标准基准上评估该方法，采用多个任务序列的类别增量设置。

实验结果

研究问题

• RQ1 为何基于蒸馏的持续目标检测模型在分类头处会经历灾难性遗忘？
• RQ2 错误但高度自信的教师预测在蒸馏过程中如何负面影响学生模型的学习？
• RQ3 通过过滤错误的教师预测，能在多大程度上改善知识迁移并减少遗忘？
• RQ4 在蒸馏损失中用Huber损失替代均方误差，是否能提升持续目标检测的鲁棒性和性能？
• RQ5 所提出的改进是否能在不依赖回放记忆的情况下实现最先进性能？

主要发现

• 在VOC 10+10基准上，该方法将mAP提升3.4个百分点；在15+5上提升1.6个百分点；在19+1上提升3.8个百分点，优于Faster-ILOD及OPE和Meta等最先进方法。
• 在COCO 40+40上，该方法达到mAP 26.4（AP）、44.3（AP50）和27.4（AP75），在无回放记忆条件下超越Faster-ILOD和Meta。
• 消融研究证实，有选择性蒸馏和Huber损失各自均能提升性能，二者结合在VOC10+10上取得最佳结果。
• 与Faster-ILOD相比，第二项任务的分类错误数几乎减半，同时保持了第一项任务98%的性能。
• 通过使用真实边界框过滤错误教师预测，该方法有效缓解了分类头中的遗忘问题。
• 改进效果在多个数据集和基准上保持一致，证明了所提改进方法的泛化能力。