[论文解读] Efficient Incremental Learning for Mobile Object Detection

Dawei Li, Şerafettin Taşcı+4 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Neural Network Applications被引用 7

一句话总结

本文提出 IMOD，一种高效的移动目标检测增量学习系统，可在不发生灾难性遗忘的情况下实现实时适应新物体类别。通过从预训练模型中蒸馏分类、回归和特征提取三方面的知识，并结合实时数据集构建流水线，IMOD 仅需几分钟即可完成新类别的训练——远快于传统微调方法，后者通常需要数小时且依赖人工标注。

ABSTRACT

Object detection models shipped with camera-equipped mobile devices cannot cover the objects of interest for every user. Therefore, the incremental learning capability is a critical feature for a robust and personalized mobile object detection system that many applications would rely on. In this paper, we present an efficient yet practical system, IMOD, to incrementally train an existing object detection model such that it can detect new object classes without losing its capability to detect old classes. The key component of IMOD is a novel incremental learning algorithm that trains end-to-end for one-stage object detection deep models only using training data of new object classes. Specifically, to avoid catastrophic forgetting, the algorithm distills three types of knowledge from the old model to mimic the old model's behavior on object classification, bounding box regression and feature extraction. In addition, since the training data for the new classes may not be available, a real-time dataset construction pipeline is designed to collect training images on-the-fly and automatically label the images with both category and bounding box annotations. We have implemented IMOD under both mobile-cloud and mobile-only setups. Experiment results show that the proposed system can learn to detect a new object class in just a few minutes, including both dataset construction and model training. In comparison, traditional fine-tuning based method may take a few hours for training, and in most cases would also need a tedious and costly manual dataset labeling step.

研究动机与目标

• 解决移动目标检测器在部署后无法检测新物体类别的问题。
• 通过实现实时、自动化的移动设备端数据采集与标注，消除对人工数据集标注的依赖。
• 在增量学习过程中防止灾难性遗忘，同时保持对先前学习类别的高精度。
• 仅使用新类别数据实现高效端到端训练，最大限度减少计算与内存开销。

提出的方法

• 设计一种新颖的增量学习算法，从预训练模型中蒸馏三类知识——分类、边界框回归和特征提取——至新模型。
• 应用知识蒸馏技术，保留旧模型在未见数据上的行为，确保稳定性并最小化遗忘。
• 实现一个实时数据集构建流水线，可在设备上采集图像，并自动生成类别与边界框标注。
• 支持仅移动端与移动-云混合部署，确保在不同设备能力下的灵活性与可扩展性。
• 仅使用新类别数据进行端到端模型训练，避免对旧数据重新训练或完整重训。
• 将系统集成至轻量化、面向移动设备的推理流水线，以实现在增量学习后实时检测。

实验结果

研究问题

• RQ1 能否设计一种增量学习系统，使移动目标检测器在无需访问旧训练数据的情况下，实现新物体类别的训练？
• RQ2 在资源受限的移动设备上，如何有效缓解单阶段目标检测器在增量学习过程中的灾难性遗忘？
• RQ3 设备端实时数据采集与自动标注在多大程度上可减少移动目标检测中对人工标注的依赖？
• RQ4 与依赖人工数据标注的传统微调方法相比，所提方法在训练速度与精度方面表现如何？
• RQ5 该系统能否在计算开销极小的前提下，实现对新类别与先前学习类别的高检测性能？

主要发现

• IMOD 仅需几分钟即可完成新类别训练，包括数据集构建与模型训练，显著快于传统微调方法。
• 系统在新类别与先前学习类别上均实现了高精度，通过多层级知识蒸馏有效缓解了灾难性遗忘。
• 实时数据集构建流水线成功生成了高质量、自动标注的训练数据，无需人工干预。
• 与传统微调相比，IMOD 将训练时间从数小时缩短至数分钟，即使计入数据采集与标注时间亦然。
• 该方法在多种物体类别上均保持了强劲的检测性能，证实其在真实移动部署场景中的鲁棒性与泛化能力。