[论文解读] Adaptive Feeding: Achieving Fast and Accurate Detections by Adaptively Combining Object Detectors

Hong-Yu Zhou, Bin-Bin Gao+1 more|arXiv (Cornell University)|Jul 20, 2017

Advanced Neural Network Applications参考文献 29被引用 9

一句话总结

本文提出自适应馈送（Adaptive Feeding, AF），一种根据图像难度动态在快速但不准确的目标检测器与准确但缓慢的检测器之间进行选择的方法，实现了高速与高精度的兼顾。通过使用轻量级分类器将简单图像路由至快速检测器，将困难图像路由至高精度检测器，AF 在不增加额外训练数据且训练开销可忽略的前提下，实现了与快速检测器相当的速度和与慢速检测器相当的精度。

ABSTRACT

Object detection aims at high speed and accuracy simultaneously. However, fast models are usually less accurate, while accurate models cannot satisfy our need for speed. A fast model can be 10 times faster but 50\% less accurate than an accurate model. In this paper, we propose Adaptive Feeding (AF) to combine a fast (but less accurate) detector and an accurate (but slow) detector, by adaptively determining whether an image is easy or hard and choosing an appropriate detector for it. In practice, we build a cascade of detectors, including the AF classifier which make the easy vs. hard decision and the two detectors. The AF classifier can be tuned to obtain different tradeoff between speed and accuracy, which has negligible training time and requires no additional training data. Experimental results on the PASCAL VOC, MS COCO and Caltech Pedestrian datasets confirm that AF has the ability to achieve comparable speed as the fast detector and comparable accuracy as the accurate one at the same time. As an example, by combining the fast SSD300 with the accurate SSD500 detector, AF leads to 50\% speedup over SSD500 with the same precision on the VOC2007 test set.

研究动机与目标

• 解决目标检测中固有的速度与精度权衡问题，即快速模型牺牲精度，而高精度模型因速度过慢无法用于实时应用。
• 实现在推理时的动态模型选择，根据图像复杂度自适应调整，无需重新训练或修改现有检测器。
• 通过自适应路由结合检测器，实现超越单一检测器的性能权衡，达到更优的速度-精度平衡。
• 通过复用现有预训练模型并引入轻量级路由分类器，最小化训练开销，避免对额外标注数据的需求。

提出的方法

• 构建级联检测器流水线，包含一个快速检测器（如 SSD300）、一个高精度检测器（如 SSD500）以及一个用于判断图像难度的自适应馈送（AF）分类器。
• 采用类别不平衡学习框架训练 AF 分类器，以区分‘简单’（适合快速检测器）与‘困难’（需要高精度检测器）图像。
• 从快速检测器的 top-k 候选框中提取特征，作为 AF 分类器的输入，以置信度分数和候选框几何特征作为关键信号。
• 使用线性支持向量机（SVM）作为 AF 分类器，基于快速检测器输出的特征进行训练，实现高效路由决策。
• 根据 AF 分类器的预测结果，将每张测试图像路由至快速检测器或高精度检测器，实现自适应推理。
• 通过调整类别不平衡学习设置中的采样权重，实现速度与精度之间可调节的权衡，而无需重新训练检测器。

实验结果

研究问题

• RQ1 轻量级分类器是否能有效区分简单与困难图像，并将其正确路由至相应检测器？
• RQ2 通过自适应路由结合快速与高精度检测器，在多大程度上能改善整体速度-精度权衡？
• RQ3 与单独训练检测器相比，该方法是否需要额外的训练数据或产生显著的训练开销？
• RQ4 在多个基准测试中，该自适应系统在速度与精度方面相较于单一检测器的表现如何？
• RQ5 该方法是否可泛化至不同检测器架构与数据集，而无需修改网络结构？

主要发现

• 在 PASCAL VOC2007 测试集上，AF 结合 SSD300 与 SSD500 实现了 50% 的速度提升，同时保持与 SSD500 相同的平均精度均值（mAP）。
• AF 实现了与 SSD500 相当的精度（74.9% mAP）和与 SSD300 相当的速度（46 FPS），展现出优异的速度-精度平衡。
• 在 MS COCO 数据集上，AF 系统在保持高精度（72.1% mAP）的同时，速度接近 SSD300，综合效率优于两个独立模型。
• 在 Caltech 行人数据集上的行人检测任务中，AF 搭配 RPN 与 CompACT-Deep 实现了 67% 的速度提升（3 FPS → 5 FPS），仅导致漏检率增加 0.5%。
• AF 分类器中最具影响力的特征是 top-k 候选框的置信度，表明具有大量高置信度候选框的图像更可能被分类为‘困难’。
• 该方法在不同数据集与检测器组合间表现稳健，无需额外训练数据，且路由分类器的训练时间可忽略不计。