[论文解读] EDF: Ensemble, Distill, and Fuse for Easy Video Labeling

Giulio Zhou, Subramanya R. Dulloor+2 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Neural Network Applications参考文献 3被引用 7

一句话总结

本文提出EDF方法，通过结合集成目标检测与知识蒸馏，仅使用极少的人工标注，即可生成高精度的视频目标检测结果。通过融合多个预训练检测器的预测结果，并在增强数据的辅助下，以集成结果训练一个紧凑的学生网络，该方法在KITTI和DETRAC数据集上均优于单一检测器或集成本身，mAP性能超越了当前最先进模型。

ABSTRACT

We present a way to rapidly bootstrap object detection on unseen videos using minimal human annotations. We accomplish this by combining two complementary sources of knowledge (one generic and the other specific) using bounding box merging and model distillation. The first (generic) knowledge source is obtained from ensembling pre-trained object detectors using a novel bounding box merging and confidence reweighting scheme. We make the observation that model distillation with data augmentation can train a specialized detector that outperforms the noisy labels it was trained on, and train a Student Network on the ensemble detections that obtains higher mAP than the ensemble itself. The second (specialized) knowledge source comes from training a detector (which we call the Supervised Labeler) on a labeled subset of the video to generate detections on the unlabeled portion. We demonstrate on two popular vehicular datasets that these techniques work to emit bounding boxes for all vehicles in the frame with higher mean average precision (mAP) than any of the reference networks used, and that the combination of ensembled and human-labeled data produces object detections that outperform either alone.

研究动机与目标

• 通过仅利用少量人工标注的帧，降低视频目标标注的成本与工作量。
• 仅使用预训练检测器与少量标注数据，在未见视频上提升检测性能。
• 开发一种方法，通过知识蒸馏超越单一检测器及其集成的性能。
• 探究如何结合通用（集成）与特定（标注）知识源，提升视频检测的准确性。

提出的方法

• 采用一种新颖的边界框合并与置信度重加权方案，集成预训练目标检测器，以生成更可靠的检测结果。
• 应用模型蒸馏，基于集成的预测结果训练一个紧凑的学生网络，并通过数据增强提升泛化能力。
• 在少量人工标注帧上训练一个有监督标注器，以生成未标注视频部分的检测结果。
• 融合集成与有监督标注器的输出，以提升检测置信度与定位精度。
• 利用目标跟踪技术稳定帧间置信度与定位，减少时间不一致性。
• 利用特征金字塔网络（FPN）与单阶段检测器（如MobileNet-SSD FPN）实现高效推理。

实验结果

研究问题

• RQ1 通过合并与置信度重加权，集成的预训练目标检测器是否能产生比任一单个检测器更可靠的检测结果？
• RQ2 从集成中进行知识蒸馏，是否能将检测性能提升至超越集成自身准确率的水平？
• RQ3 将集成蒸馏与少量人工标注帧相结合，对检测mAP的提升程度如何？
• RQ4 目标跟踪在多大程度上能改善视频中检测置信度的时间一致性？
• RQ5 在噪声集成标签上训练的学生网络，是否能超越集成本身的表现？

主要发现

• 在DETRAC数据集上，EDF方法的mAP比集成中表现最佳的检测器高出1.25倍。
• 在KITTI数据集上，EDF的mAP比最佳集成成员高出1.21倍。
• 尽管在潜在噪声标签上进行训练，学生网络在性能上仍超越了集成本身。
• 集成与人工标注数据的结合，生成的检测结果在准确率上超越了任一来源单独的效果。
• 目标跟踪有助于稳定帧间检测置信度，即使在视觉变化较大的情况下，也能减少时间波动。
• 当集成中使用性能较弱的检测器时，该方法依然有效，表明其对单个检测器偏差具有鲁棒性。