[论文解读] Training-Time-Friendly Network for Real-Time Object Detection

Zili Liu, Zhengkai Tu+4 more|arXiv (Cornell University)|Sep 2, 2019

Advanced Neural Network Applications参考文献 24被引用 12

一句话总结

本文提出 TTFNet，一种训练时间友好、实时的物体检测器，在显著减少训练时间的同时实现了最先进（SOTA）的准确率。通过使用高斯核编码在物体中心周围生成密集的加权训练样本，TTFNet 加速了收敛过程——相比先前的实时检测器（如 CenterNet）将训练时间减少七倍以上——同时保持了快速的推理速度和在 MS COCO 上的高 AP 分数。

ABSTRACT

Modern object detectors can rarely achieve short training time, fast inference speed, and high accuracy at the same time. To strike a balance among them, we propose the Training-Time-Friendly Network (TTFNet). In this work, we start with light-head, single-stage, and anchor-free designs, which enable fast inference speed. Then, we focus on shortening training time. We notice that encoding more training samples from annotated boxes plays a similar role as increasing batch size, which helps enlarge the learning rate and accelerate the training process. To this end, we introduce a novel approach using Gaussian kernels to encode training samples. Besides, we design the initiative sample weights for better information utilization. Experiments on MS COCO show that our TTFNet has great advantages in balancing training time, inference speed, and accuracy. It has reduced training time by more than seven times compared to previous real-time detectors while maintaining state-of-the-art performances. In addition, our super-fast version of TTFNet-18 and TTFNet-53 can outperform SSD300 and YOLOv3 by less than one-tenth of their training time, respectively. The code has been made available at \url{https://github.com/ZJULearning/ttfnet}.

研究动机与目标

• 解决实时物体检测器中训练时间、推理速度与准确率之间的不平衡问题。
• 识别出如 CenterNet 等最先进实时检测器训练速度缓慢的原因在于有限训练样本提供的监督信号不足。
• 提出一种方法，在不增加批量大小或模型复杂度的前提下，增强有效训练信号。
• 设计一种统一的无锚点检测头，以实现快速推理与高效训练。
• 在极短的训练时间内实现最先进性能，尤其适用于计算资源有限的研究人员。

提出的方法

• 使用高斯核在物体中心周围生成密集的、具有空间感知能力的训练样本，取代稀疏的锚点基或仅中心点的监督方式。
• 将每个空间位置的高斯概率视为样本权重，强化高质量、靠近中心的样本在回归中的作用。
• 应用自适应归一化，以保留小物体与大物体的信息，减少监督信号中的歧义。
• 将高斯编码集成到轻量化、单阶段、无锚点的检测器架构中，以保持快速推理。
• 将增加的有效训练样本数量作为更大批量大小的代理，从而支持更高的学习率并实现更快收敛。
• 在主干网络（如 ResNet 风格）中引入跳跃连接，以在不增加训练成本的前提下提升特征表示与精度。

实验结果

研究问题

• RQ1 通过基于核的编码增加有效训练样本数量，是否能加速实时物体检测器的收敛？
• RQ2 为何如 CenterNet 等最先进实时检测器尽管推理速度快，却仍存在长时间训练的问题？
• RQ3 基于高斯核的样本编码在收敛速度与准确率方面，是否优于矩形或仅中心点的监督方式？
• RQ4 与现有实时检测器相比，所提方法是否在大幅减少训练时间的同时保持或提升性能？
• RQ5 该方法是否能在极少预训练和有限计算资源下，从零开始实现具有竞争力的性能？

主要发现

• TTFNet 相较于 CenterNet 及其他实时检测器，将训练时间减少了七倍以上，同时在 MS COCO 上实现了最先进（SOTA）的 AP 分数。
• 超快速的 TTFNet-18 在 8 块 GTX 1080Ti 上仅训练 1.8 小时即达到 112 FPS 的推理速度与 25.9 AP，训练时间不足 SSD300 的十分之一。
• TTFNet-53 在训练 3.1 小时后达到 55 FPS 的推理速度与 32.9 AP，其准确率与速度均优于 YOLOv3，且训练时间仅为后者的十分之一。
• 长周期训练的 TTFNet-53 在训练 31 小时后达到 39.3 AP 与 57 FPS，展现出强大的可扩展性与性能。
• 从零开始训练的 TTFNet-18 在 19 小时后达到 30.3 AP，表明预训练主干网络并非实现高性能的必要条件。
• 将 TTFNet 中的标准上采样层替换为 CenterNet 的自定义层可进一步提升性能，但 TTFNet 在训练效率与收敛速度方面仍优于 CenterNet。