[论文解读] A Comprehensive Study of Real-Time Object Detection Networks Across Multiple Domains: A Survey

Elahe Arani, Shruthi Gowda+4 more|arXiv (Cornell University)|Aug 23, 2022

Advanced Neural Network Applications被引用 16

一句话总结

本综述提出了一套全面且标准化的基准，用于评估基于锚框、关键点和Transformer的实时目标检测网络，涵盖准确性、速度、鲁棒性、能效以及在边缘设备上的部署性能。主要发现表明，关键点检测器泛化能力更强，NanoDet在准确性-速度-资源消耗之间实现了最佳平衡，骨干网络的选择（如HarDNet）对不同数据集和实际应用场景（如自动驾驶和医疗）中的效率与性能具有决定性影响。

ABSTRACT

Deep neural network based object detectors are continuously evolving and are used in a multitude of applications, each having its own set of requirements. While safety-critical applications need high accuracy and reliability, low-latency tasks need resource and energy-efficient networks. Real-time detectors, which are a necessity in high-impact real-world applications, are continuously proposed, but they overemphasize the improvements in accuracy and speed while other capabilities such as versatility, robustness, resource and energy efficiency are omitted. A reference benchmark for existing networks does not exist, nor does a standard evaluation guideline for designing new networks, which results in ambiguous and inconsistent comparisons. We, thus, conduct a comprehensive study on multiple real-time detectors (anchor-, keypoint-, and transformer-based) on a wide range of datasets and report results on an extensive set of metrics. We also study the impact of variables such as image size, anchor dimensions, confidence thresholds, and architecture layers on the overall performance. We analyze the robustness of detection networks against distribution shifts, natural corruptions, and adversarial attacks. Also, we provide a calibration analysis to gauge the reliability of the predictions. Finally, to highlight the real-world impact, we conduct two unique case studies, on autonomous driving and healthcare applications. To further gauge the capability of networks in critical real-time applications, we report the performance after deploying the detection networks on edge devices. Our extensive empirical study can act as a guideline for the industrial community to make an informed choice on the existing networks. We also hope to inspire the research community towards a new direction in the design and evaluation of networks that focuses on a bigger and holistic overview for a far-reaching impact.

研究动机与目标

• 为解决在多样化应用场景中实时目标检测器缺乏统一基准和标准化评估框架的问题。
• 分析架构变量（如骨干网络选择、图像尺寸、锚框尺寸、置信度阈值和层类型）对检测性能的影响。
• 评估模型在分布偏移、自然损坏和对抗攻击下的鲁棒性，并分析模型校准性能，以确保在安全关键系统中的可靠性。
• 通过在边缘硬件（如Jetson系列）上基准测试模型并开展自动驾驶和医疗领域的特定案例研究，为工业部署提供可操作的见解。
• 引导未来研究超越名义上的准确率和速度提升，迈向整体化设计原则，强调可持续性与实际应用价值。

提出的方法

• 建立标准化的实验流程，用于在PASCAL VOC和MS COCO数据集上训练和评估12种检测网络（基于锚框、关键点和Transformer的架构），并采用多种骨干网络。
• 解耦并分析关键变量（如图像尺寸、锚框尺寸、置信度阈值和架构层，如DCN）对性能指标的影响。
• 在损坏的COCO数据集上评估鲁棒性，并在对抗攻击下测试性能，量化15种损坏类型及不同严重程度下的性能下降。
• 在桌面（NVIDIA 2080Ti）和嵌入式（Jetson Xavier/TX2）硬件上测量推理过程中的能效与资源消耗，以评估边缘部署可行性。
• 通过可靠性图进行校准分析，评估预测置信度与可靠性，尤其关注安全关键场景下的表现。
• 开展两项领域特定的案例研究：一项基于BDD和Cityscapes数据集的自动驾驶研究，另一项基于Kvasir-SEG数据集的医疗应用研究，重点关注召回率和分布外泛化能力。

实验结果

研究问题

• RQ1 不同实时检测架构（基于锚框、关键点和Transformer）在多样化数据集上的准确性、速度、鲁棒性和能效方面如何比较？
• RQ2 架构超参数（如图像尺寸、锚框尺寸、置信度阈值和骨干网络选择）对检测性能和效率有何影响？
• RQ3 检测网络在分布偏移、自然损坏和对抗攻击下的表现如何？哪些架构最具鲁棒性？
• RQ4 模型校准如何影响安全关键应用中的可靠性？哪些架构在高风险部署中最具可信度？
• RQ5 在桌面和嵌入式硬件上的性能趋势有何差异？哪些模型最适合在实际系统中进行边缘部署？

主要发现

• 关键点检测器（如CenterNet和FCOS）由于无需锚框优化，跨数据集泛化能力更强，在跨域设置中优于基于锚框的模型。
• NanoDet在准确性、速度和资源效率之间实现了最佳平衡，是实时边缘部署应用的理想选择。
• 在骨干网络中，HarDNet在准确性、推理速度和能耗之间提供了最优权衡，尤其在低功耗边缘设备上表现突出。
• 自然损坏下性能显著下降，其中FCOS对噪声和模糊损坏的鲁棒性最强，而所有模型在降雪条件下均失效。
• CenterNet对对抗性扰动具有最强抵抗能力，而FCOS和DETR也表现出相对较高的鲁棒性，表明其架构在对抗防御方面具有优势。
• SSD的校准性能优于其他模型，而关键点检测器在预测上更为保守，因此在自动驾驶等安全关键系统中更具优势。