[论文解读] Feature Selective Small Object Detection via Knowledge-based Recurrent Attentive Neural Network

Kai Yi, Zhiqiang Jian+2 more|arXiv (Cornell University)|Mar 13, 2018

Advanced Neural Network Applications参考文献 22被引用 7

一句话总结

本文提出 KB-RANN，一种基于知识的循环注意力神经网络，用于自动驾驶中的小目标检测，通过领域知识和注意力机制选择性增强显著特征。该方法在 KITTI 和 BTSD 数据集上实现了最先进精度，同时保持实时推理速度，在嵌入式 TX2 平台上通过 TensorRT 优化成功实现 10 FPS 的部署。

ABSTRACT

At present, the performance of deep neural network in general object detection is comparable to or even surpasses that of human beings. However, due to the limitations of deep learning itself, the small proportion of feature pixels, and the occurence of blur and occlusion, the detection of small objects in complex scenes is still an open question. But we can not deny that real-time and accurate object detection is fundamental to automatic perception and subsequent perception-based decision-making and planning tasks of autonomous driving. Considering the characteristics of small objects in autonomous driving scene, we proposed a novel method named KB-RANN, which based on domain knowledge, intuitive experience and feature attentive selection. It can focus on particular parts of image features, and then it tries to stress the importance of these features and strengthenes the learning parameters of them. Our comparative experiments on KITTI and COCO datasets show that our proposed method can achieve considerable results both in speed and accuracy, and can improve the effect of small object detection through self-selection of important features and continuous enhancement of proposed method, and deployed it in our self-developed autonomous driving car.

研究动机与目标

• 为解决在复杂真实自动驾驶场景中检测小目标的长期挑战，特别是交通标志和行人。
• 通过将领域特定知识（例如人类对可行驶区域的关注倾向）融入深度学习模型，提升小目标检测的精度。
• 通过循环注意力机制，选择性地增强多层特征图中的显著特征，从而优化特征表示。
• 实现在低功耗嵌入式平台上的实时推理，这对自动驾驶车辆的部署至关重要。
• 实现从 KITTI 到 BTSD 的有效知识迁移，并支持模型压缩以适配嵌入式部署。

提出的方法

• KB-RANN 模型采用改进的 SqueezeNet 主干网络，包含全卷积层和额外的 fire 模块，以支持多尺度输入，提升小目标检测性能。
• 引入一种新型的循环注意力神经网络（RANN）模块，通过学习到的注意力权重，迭代地优化特征表示，聚焦于高重要性特征。
• 将领域知识（如人类倾向于关注中心可行驶区域及该区域内的交通标志）作为空间偏置注入网络，引导特征注意力。
• 采用级联的小型卷积神经网络架构处理增强后的特征图，并使用 softmax 回归生成最终检测输出。
• 应用知识蒸馏与通道剪枝技术对模型进行压缩，实现嵌入式系统的高效部署。
• 使用 TensorRT 加速 NVIDIA Jetson TX2 平台上的推理，实现实时性能。

实验结果

研究问题

• RQ1 将领域特定知识与人类注意力偏置相结合，能否提升自动驾驶场景中小目标检测的性能？
• RQ2 循环注意力机制如何在多层特征图中增强小目标的特征表示？
• RQ3 基于知识引导与注意力机制的网络在精度与速度上，相较于标准的一阶段检测器（如 RetinaNet 和 SqueezeDet）能有多大优势？
• RQ4 KB-RANN 模型能否在不同数据集之间实现泛化，例如从 KITTI 直接迁移至 BTSD 且仅需极少微调？
• RQ5 模型压缩与加速技术（如通过 TensorRT）在真实自动驾驶车辆的低功耗嵌入式平台上部署 KB-RANN 时，效果如何？

主要发现

• 在 KITTI 数据集上，KB-RANN 在 IoU=0.3 时达到 mAP 0.90，在 IoU=0.5 时达到 mAP 0.71，优于 Faster R-CNN、RetinaNet、SqueezeDet 和 KB-RCNN。
• 在输入分辨率降低至 541×412 的 BTSD 数据集上，KB-RANN 在 IoU=0.3 时达到 mAP 0.90，在 IoU=0.5 时达到 mAP 0.71，表现出优异的泛化能力与对分辨率变化的鲁棒性。
• 在 TX2 平台上，KB-RANN 的完整处理流水线（包括后处理与 I/O）达到 9.45 FPS，表明具备实时处理能力。
• KB-RANN 展现出强大的知识迁移能力，在未进行微调的情况下，直接从 KITTI 迁移至 BTSD 即可实现高性能。
• 该模型已成功部署于自研自动驾驶汽车，在 TX2 平台上经 TensorRT 优化后，实现 10 FPS 的实时检测。
• 可视化结果表明，与 Faster R-CNN 和 SqueezeDet 相比，KB-RANN 在遮挡或模糊条件下对小交通标志的检测效果更优。