[论文解读] A Framework of Transfer Learning in Object Detection for Embedded Systems

Ioannis N. Athanasiadis, Panagiotis Mousouliotis+1 more|arXiv (Cornell University)|Nov 12, 2018

Advanced Neural Network Applications参考文献 23被引用 12

一句话总结

本文提出了一种用于 SqueezeDet 的迁移学习框架，SqueezeDet 是一种轻量级卷积神经网络，适用于嵌入式系统中的实时目标检测。通过 GPU 优化的数据处理管道，训练速度提升了 1.8 倍，实现了自动超参数调优，并表明从 ImageNet 迁移学习可使小数据集上的 mAP 提升超过 40%——尽管共适应敏感性要求对早期层进行微调。

ABSTRACT

Transfer learning is one of the subjects undergoing intense study in the area of machine learning. In object recognition and object detection there are known experiments for the transferability of parameters, but not for neural networks which are suitable for object detection in real time embedded applications, such as the SqueezeDet neural network. We use transfer learning to accelerate the training of SqueezeDet to a new group of classes. Also, experiments are conducted to study the transferability and co-adaptation phenomena introduced by the transfer learning process. To accelerate training, we propose a new implementation of the SqueezeDet training which provides a faster pipeline for data processing and achieves 1.8 times speedup compared to the initial implementation. Finally, we created a mechanism for automatic hyperparameter optimization using an empirical method.

研究动机与目标

• 解决在实时嵌入式应用中为新物体类别微调轻量级目标检测器（如 SqueezeDet）的挑战。
• 克服原始 SqueezeDet 实现方案在 CPU 上训练计算成本高、速度慢的问题。
• 研究从 ImageNet、KITTI 和 PASCAL VOC 数据集迁移知识时，SqueezeDet 中的迁移能力与共适应性。
• 开发一种自动超参数优化方法，以提升微调效率与性能。
• 构建一个可重用的框架，以实现嵌入式系统中具有动态类别需求的目标检测模型的快速部署与更新。

提出的方法

• 使用 GPU 加速重新实现 SqueezeDet 训练管道，减少数据处理瓶颈，相比原始 CPU 版本实现 1.8 倍速度提升。
• 通过并行化内存密集型操作优化锚框匹配算法，以适配 GPU 执行，提升训练吞吐量。
• 采用结合 AdaLipo 与信赖域算法的经验式超参数优化策略，对关键超参数（如每网格锚框数、NMS 阈值、初始学习率）进行调优。
• 通过使用 ImageNet 预训练权重初始化 SqueezeDet 并在 KITTI 和 PASCAL VOC 数据集上微调，开展迁移能力实验。
• 以 mAP（平均精度均值）为主要评估指标，评估迁移学习效果与共适应性敏感性。
• 测量 GPU 功耗与训练时间，以验证性能提升并确保计算效率。

实验结果

研究问题

• RQ1 在 PASCAL VOC 等小数据集上微调 SqueezeDet 时，从 ImageNet 进行迁移学习在多大程度上提升了 mAP？
• RQ2 在从 KITTI 到 PASCAL VOC 的迁移学习过程中，SqueezeDet 的层对共适应性的脆弱性如何，尤其是其影响程度？
• RQ3 与随机或固定超参数设置相比，自动超参数优化是否能显著提升 SqueezeDet 微调中的 mAP？
• RQ4 数据处理管道优化对嵌入式友好型目标检测模型的训练速度与 GPU 利用率有何影响？
• RQ5 从 ImageNet 到 KITTI 再到 PASCAL VOC 的迁移学习是否导致灾难性遗忘？如果是，原因是什么？

主要发现

• 通过将数据处理卸载至 GPU 并最小化 CPU-GPU 数据传输，SqueezeDet 训练的重新实现实现了 1.8 倍的速度提升。
• 与从零开始训练相比，从 ImageNet 迁移学习至 PASCAL VOC 使 mAP 提升超过 40%，表明具有显著的正向迁移能力。
• 共适应性被发现具有高度破坏性：除非对 SqueezeDet 的前 7 层进行微调，否则从 KITTI 到 PASCAL VOC 的迁移学习会失败。
• 采用 AdaLipo 与信赖域方法进行超参数优化，使 mAP 从随机设置的 1.3% 提升至 2.8%，尽管增益有限，表明超参数选择并非主要瓶颈。
• 贪婪的二分图匹配锚框匹配算法由于锚框网格密集，速度慢于原始方法，但结果更准确。
• 从 ImageNet 到 KITTI 再到 PASCAL VOC 的迁移学习因灾难性遗忘而失败，凸显了在嵌入式系统中顺序领域转移的风险。