[论文解读] 2nd Place Solution for Waymo Open Dataset Challenge -- Real-time 2D Object Detection

Yueming Zhang, Xiaolin Song+9 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Neural Network Applications参考文献 9被引用 6

一句话总结

该论文提出了一种基于 YOLOR 模型并结合尺度增强与多模型集成策略的实时 2D 目标检测框架，用于自动驾驶，其在 Waymo 开放数据集挑战赛中以 45.8ms 推理延迟（Tesla V100 GPU 上）取得 75.00% L1 mAP 和 69.72% L2 mAP 的成绩，获得第二名。

ABSTRACT

In an autonomous driving system, it is essential to recognize vehicles, pedestrians and cyclists from images. Besides the high accuracy of the prediction, the requirement of real-time running brings new challenges for convolutional network models. In this report, we introduce a real-time method to detect the 2D objects from images. We aggregate several popular one-stage object detectors and train the models of variety input strategies independently, to yield better performance for accurate multi-scale detection of each category, especially for small objects. For model acceleration, we leverage TensorRT to optimize the inference time of our detection pipeline. As shown in the leaderboard, our proposed detection framework ranks the 2nd place with 75.00% L1 mAP and 69.72% L2 mAP in the real-time 2D detection track of the Waymo Open Dataset Challenges, while our framework achieves the latency of 45.8ms/frame on an Nvidia Tesla V100 GPU.

研究动机与目标

• 解决自动驾驶中严格延迟约束下的实时 2D 目标检测挑战。
• 提升小目标（尤其是车辆与行人）的检测精度，这些目标在标准检测流程中常被遗漏。
• 在 Waymo 开放数据集上保持高 mAP 表现的同时，优化推理速度。
• 开发一个鲁棒且可扩展的检测框架，在多个目标类别间实现速度与精度的平衡。
• 在 Waymo 开放数据集挑战赛的实时 2D 检测赛道中达到最先进性能。

提出的方法

• 选用 YOLOR 作为基础检测器，因其在 COCO 数据集上兼具出色的实时性能与高精度。
• 通过裁剪并放大图像中心区域（1.5×）实现尺度增强，以提升小目标的检测效果。
• 训练具有不同输入策略（原始尺寸与放大尺寸）的独立模型，以增强多尺度检测能力。
• 使用 TensorRT 进行模型优化，将 Tesla V100 上的推理延迟降低至 45.8ms/帧。
• 实施类别感知的非极大值抑制，采用类别特定的 IoU 阈值（车辆：0.75，行人/骑行人：0.55）。
• 通过集成 YOLOR-W6（在车辆与行人上表现优异）与 YOLOR-P6（在骑行人上表现更优）的预测结果，实现整体 mAP 提升。

实验结果

研究问题

• RQ1 如何在自动驾驶的实时 2D 目标检测中提升小目标的检测性能？
• RQ2 尺度增强与多尺度输入策略对小目标检测性能有何影响？
• RQ3 在不同 YOLOR 变体之间进行模型集成，如何提升所有目标类别上的 mAP？
• RQ4 锚框聚类能否有效应用于 Waymo 开放数据集？是否存在因类别不平衡导致性能下降的问题？
• RQ5 在 Waymo 开放数据集上，实时 2D 检测中推理速度与 mAP 的最优权衡是什么？

主要发现

• 尺度增强策略在 mini-val 数据集上使 mAP 提升了 1.88%，显著改善了小目标的检测效果。
• 最终的模型集成在 mini-val 数据集上实现了 66.67% 的 mAP，相比基线模型（61.54%）提升了 5.13%。
• 该框架在 Waymo 开放数据集排行榜上取得了 75.00% L1 mAP 和 69.72% L2 mAP 的成绩，荣获第二名。
• 通过 TensorRT 优化，推理延迟降低至 45.8ms/帧，满足 70ms/帧的实时性要求。
• 采用不同输入策略（原始尺寸与放大尺寸）独立训练，提升了小目标检测的鲁棒性。
• YOLOR-W6 在车辆与行人上优于 YOLOR-P6，而 YOLOR-P6 在骑行人上表现更佳，验证了集成策略的合理性。