[论文解读] Multi-Cue Vehicle Detection for Semantic Video Compression in Georegistered Aerial Videos

Noor Al-Shakarji, Filiz Bunyak+3 more|arXiv (Cornell University)|Jul 2, 2019

Video Surveillance and Tracking Methods被引用 3

一句话总结

本文提出了一种基于深度学习的多线索车辆检测流水线，通过时空通量张量滤波融合外观与运动特征，实现在地理配准的航拍视频中对移动车辆进行高精度、高召回率的检测。该方法实现了超过100:1的语义压缩比，同时保持了较高的图像保真度，在带宽受限的空对地网络中显著提升了带宽效率。

ABSTRACT

Detection of moving objects such as vehicles in videos acquired from an airborne camera is very useful for video analytics applications. Using fast low power algorithms for onboard moving object detection would also provide region of interest-based semantic information for scene content aware image compression. This would enable more efficient and flexible communication link utilization in lowbandwidth airborne cloud computing networks. Despite recent advances in both UAV or drone platforms and imaging sensor technologies, vehicle detection from aerial video remains challenging due to small object sizes, platform motion and camera jitter, obscurations, scene complexity and degraded imaging conditions. This paper proposes an efficient moving vehicle detection pipeline which synergistically fuses both appearance and motion-based detections in a complementary manner using deep learning combined with flux tensor spatio-temporal filtering. Our proposed multi-cue pipeline is able to detect moving vehicles with high precision and recall, while filtering out false positives such as parked vehicles, through intelligent fusion. Experimental results show that incorporating contextual information of moving vehicles enables high semantic compression ratios of over 100:1 with high image fidelity, for better utilization of limited bandwidth air-to-ground network links.

研究动机与目标

• 解决在成像质量下降、平台运动及相机抖动条件下，从航拍视频中检测小型移动车辆的挑战。
• 通过基于感兴趣区域的语义压缩，优化空中云平台网络中带宽受限的空对地通信链路。
• 通过智能融合外观与运动线索，减少因静止车辆和动态杂波导致的误报。
• 通过利用检测到的移动车辆提供的上下文信息，提升压缩效率，同时不牺牲图像保真度。
• 开发一种低功耗、适合在无人机平台实时部署的机载计算解决方案。

提出的方法

• 使用深度学习模型从视频帧中提取基于外观的特征，用于车辆候选检测。
• 应用通量张量时空滤波，从连续视频帧中提取基于运动的线索，增强运动一致性并降低噪声。
• 采用互补融合策略，协同融合外观与运动检测结果，提升检测鲁棒性。
• 利用地理配准将视频内容与空间上下文对齐，提升定位精度并减少误报。
• 将融合后的检测结果集成到语义视频压缩框架中，优先对移动车辆区域进行高质量编码。
• 优化流水线以降低计算开销，支持在无人机平台上的实时机载处理。

实验结果

研究问题

• RQ1 如何有效融合外观与运动线索，以提升在小目标尺寸和高噪声条件下的航拍视频中车辆检测的准确性？
• RQ2 在平台运动和相机抖动条件下，时空通量张量滤波在多大程度上能增强运动检测的鲁棒性？
• RQ3 融合上下文车辆信息是否能够实现超过100:1的语义压缩比，同时保持图像保真度？
• RQ4 与单线索方法相比，所提出的流水线在减少静止车辆和环境杂波导致的误报方面表现如何？
• RQ5 在无人机平台的机载处理环境中，检测精度、计算成本与压缩效率之间的权衡关系如何？

主要发现

• 所提出的多线索检测流水线在小型目标尺寸和复杂成像条件下，仍能实现高精度与高召回率的移动车辆检测。
• 外观与运动特征的智能融合能有效过滤掉如静止车辆和动态背景杂波等误报。
• 该方法实现了超过100:1的语义视频压缩比，显著提升了带宽受限的空对地网络中的带宽利用率。
• 即使在极端压缩比下，仍能保持高图像保真度，原因在于基于检测到的移动车辆的感知内容编码。
• 地理配准与时空通量滤波的集成显著提升了在平台运动条件下的检测稳定性与定位精度。
• 该流水线计算效率足够高，可支持无人机平台上的实时机载处理，具备实际部署可行性。