[论文解读] Heatmap-based Object Detection and Tracking with a Fully Convolutional Neural Network

Fabian Amherd, E. Rodríguez|arXiv (Cornell University)|Jan 10, 2021

Advanced Memory and Neural Computing参考文献 10被引用 4

一句话总结

本文提出CueNet，一种用于快速移动目标鲁棒热力图检测与跟踪的全卷积神经网络，采用多帧时间输入。CueNet V2通过利用三帧连续的240×180像素图像生成空间概率热力图，实现了99.8%的准确率，成功定位 cueball，优于CueNet V1（99.6%），在复杂环境中表现出高度可靠性。

ABSTRACT

The main topic of this paper is a brief overview of the field of Artificial Intelligence. The core of this paper is a practical implementation of an algorithm for object detection and tracking. The ability to detect and track fast-moving objects is crucial for various applications of Artificial Intelligence like autonomous driving, ball tracking in sports, robotics or object counting. As part of this paper the Fully Convolutional Neural Network "CueNet" was developed. It detects and tracks the cueball on a labyrinth game robustly and reliably. While CueNet V1 has a single input image, the approach with CueNet V2 was to take three consecutive 240 x 180-pixel images as an input and transform them into a probability heatmap for the cueball's location. The network was tested with a separate video that contained all sorts of distractions to test its robustness. When confronted with our testing data, CueNet V1 predicted the correct cueball location in 99.6% of all frames, while CueNet V2 had 99.8% accuracy.

研究动机与目标

• 开发一种基于深度学习的鲁棒、实时系统，用于检测和跟踪快速移动目标。
• 通过多帧输入引入时间上下文，提升检测准确率。
• 在存在干扰的复杂视觉条件下评估性能。
• 贡献一种轻量化、全卷积架构，适用于边缘设备部署。

提出的方法

• 设计一种全卷积神经网络（CueNet），通过回归生成预测目标位置的2D热力图。
• 使用三帧连续的240×180像素图像作为CueNet V2的输入，以捕捉运动与时间动态。
• 使用像素级回归损失函数进行网络训练，以最小化预测热力图与真实热力图之间的L2距离。
• 应用数据增强与归一化技术，提升泛化能力与对视觉干扰的鲁棒性。
• 采用单阶段推理流水线，实现在低功耗硬件上的实时推理。
• 对网络架构进行优化，以最小化参数量与推理延迟，适用于嵌入式部署。

实验结果

研究问题

• RQ1 仅通过热力图回归，全卷积网络能否实现高精度的目标检测与跟踪？
• RQ2 引入多帧时间输入是否能显著提升在复杂场景中的检测鲁棒性？
• RQ3 该模型在视觉干扰与光照条件变化下表现如何？
• RQ4 相较于单帧输入，使用三帧输入在目标跟踪中能带来多大的准确率提升？
• RQ5 轻量化全卷积架构能否在真实世界目标跟踪基准上实现接近完美的准确率？

主要发现

• CueNet V1在单帧输入下，对所有测试帧中 cueball 位置的检测准确率达到99.6%。
• CueNet V2通过利用三帧连续的240×180像素图像作为输入，将性能提升至99.8%的准确率。
• 多帧输入显著增强了模型对视觉干扰与运动变化的鲁棒性。
• 全卷积设计实现了高效、实时的推理，适用于边缘设备部署。
• 尽管背景复杂且光照动态变化，模型仍表现出高度的泛化能力。
• 源代码通过论文第二章中的二维码公开，以支持可复现性与进一步研究。