[论文解读] End-to-end Learning Improves Static Object Geo-localization in Monocular Video

Mohamed Chaabane, Lionel Gueguen+3 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 36被引用 6

一句话总结

该论文提出了一种端到端的深度学习系统，通过联合优化姿态估计、帧间物体匹配和多目标跟踪，提升了单目视频中静态物体（如交通信号灯）的5D地理定位性能。该方法在X/Y轴上的中位数误差低于20厘米，Z轴中位数误差为1.47米，通过多任务损失函数的端到端联合训练，优于先前方法，在真实自动驾驶场景中展现出更高的精度与鲁棒性。

ABSTRACT

Accurately estimating the position of static objects, such as traffic lights, from the moving camera of a self-driving car is a challenging problem. In this work, we present a system that improves the localization of static objects by jointly-optimizing the components of the system via learning. Our system is comprised of networks that perform: 1) 5DoF object pose estimation from a single image, 2) association of objects between pairs of frames, and 3) multi-object tracking to produce the final geo-localization of the static objects within the scene. We evaluate our approach using a publicly-available data set, focusing on traffic lights due to data availability. For each component, we compare against contemporary alternatives and show significantly-improved performance. We also show that the end-to-end system performance is further improved via joint-training of the constituent models.

研究动机与目标

• 解决从移动车辆的单目视频中对静态交通物体（如交通信号灯）进行精确、实时地理定位的挑战。
• 克服模块化系统将物体检测、姿态估计与跟踪解耦所带来的局限性，此类系统常因误差传播导致性能下降。
• 通过端到端学习实现姿态回归、物体匹配与跟踪的联合优化，从而提升系统级精度。
• 证明通过联合训练结合视觉与几何特征，可增强在复杂城市环境中对静态物体定位的鲁棒性与精确度。
• 提供一种可扩展的框架，适用于除交通信号灯外的其他小型静态物体（如标志），前提是有足够的数据支持。

提出的方法

• 采用双流网络架构，以一对带有地理定位信息的RGB视频帧作为输入，估计5D物体姿态（3D位置 + 2D旋转）。
• 设计一种新颖的5D姿态回归网络，从单幅图像中预测物体姿态，利用外观特征与几何特征的联合表示以提升精度。
• 设计一种跨图像物体匹配模块，将多分辨率外观特征与姿态网络提供的几何约束相结合，以提高匹配对应关系的准确性。
• 将姿态网络与匹配网络整合进多目标跟踪框架中，采用匈牙利算法进行数据关联合，实现在帧间持续跟踪。
• 使用多任务损失函数对整个系统进行端到端训练，联合优化姿态回归、匹配与跟踪目标。
• 利用现有数据集中预估的自运动（相机姿态）信息，实现无需LiDAR或GPS输入的精确三角测量与地理定位。

实验结果

研究问题

• RQ1 与解耦系统相比，端到端联合优化姿态估计、物体匹配与多目标跟踪是否能提升5D地理定位的准确性？
• RQ2 在学习匹配模块中结合外观与几何特征，对跨视频帧跟踪静态物体的性能有何影响？
• RQ3 与单独训练各组件相比，使用多任务损失函数进行联合训练在X、Y和Z轴上的定位误差减少程度如何？
• RQ4 在包含马氏距离与方向约束的现实阈值下，所提方法与SOTA方法（如MRF-三角测量法与SSD-ReID-Geo）相比性能如何？
• RQ5 当应用于真实单目视频（深度线索有限、物体密度高）时，系统是否仍能保持高精度？

主要发现

• 所提出的端到端系统在X轴上的中位数平移误差为0.16米，Y轴为0.15米，显著优于MRF-三角测量法（0.24米与0.27米）和SSD-ReID-Geo（0.51米与0.45米）。
• Z轴的中位数深度误差为1.47米，该数值在真实应用中处于可接受范围内，因横向误差对实际影响更为关键。
• 在使用各向异性阈值（x=0.4米，y=0.39米，z=3.84米）的马氏距离评估下，本方法在精确率与召回率上均优于MRF-三角测量法与SSD-ReID-Geo，尤其在横向定位方面表现更优。
• 即使在要求姿态方向一致性在20°以内的严格条件下，系统仍保持良好性能，仅F1分数略有下降，表明其5D姿态估计具有强鲁棒性。
• 通过多任务损失函数进行联合训练，显著提升了各组件性能（姿态回归、匹配）与系统级地理定位精度。
• 即使在仅使用帧对的限制条件下，本方法仍优于SSD-ReID-Geo，证明了联合优化与更优特征学习相较于孤立帧对处理的优势。