[论文解读] Learning to Communicate and Correct Pose Errors

Nicholas Vadivelu, Mengye Ren+3 more|arXiv (Cornell University)|Nov 10, 2020

Advanced Neural Network Applications参考文献 43被引用 9

一句话总结

本文提出了一种端到端神经推理框架，通过学习通信、估计位姿误差并达成共识，增强了多智能体自动驾驶感知在定位噪声下的性能。通过整合位姿回归、马尔可夫随机场中的贝叶斯重加权以及基于注意力的异常值抑制，该方法在严重平移和航向噪声下仍能保持高检测与预测精度，其鲁棒性和泛化能力优于V2VNet及以往的同步方法。

ABSTRACT

Learned communication makes multi-agent systems more effective by aggregating distributed information. However, it also exposes individual agents to the threat of erroneous messages they might receive. In this paper, we study the setting proposed in V2VNet, where nearby self-driving vehicles jointly perform object detection and motion forecasting in a cooperative manner. Despite a huge performance boost when the agents solve the task together, the gain is quickly diminished in the presence of pose noise since the communication relies on spatial transformations. Hence, we propose a novel neural reasoning framework that learns to communicate, to estimate potential errors, and finally, to reach a consensus about those errors. Experiments confirm that our proposed framework significantly improves the robustness of multi-agent self-driving perception and motion forecasting systems under realistic and severe localization noise.

研究动机与目标

• 为解决多智能体自动驾驶感知系统在车对车（V2V）通信中对位姿噪声的严重脆弱性问题。
• 开发一种框架，使智能体能够在不依赖完美定位的前提下联合估计并校正位姿误差。
• 在真实、存在噪声的定位条件下，提升对象检测与运动预测的鲁棒性与一致性。
• 设计一种系统，即使在邻近车辆数量增加或噪声类型在训练中未见（如偏置噪声）时，仍能保持性能。

提出的方法

• 位姿回归模块利用学习到的特征预测车辆对之间的相对位姿误差。
• 基于马尔可夫随机场与贝叶斯重加权的一致性模块，确保多个智能体之间全局一致的位姿。
• 该框架采用鲁棒注意力权重，在特征聚合过程中抑制异常消息。
• 系统端到端训练，联合优化通信、误差估计与共识形成。
• 一致性模块中使用t分布节点，增强了在小型多智能体图中对异常值的鲁棒性。
• 通过训练期间的领域泛化，该方法能很好地泛化到未见过的噪声类型，包括偏置噪声与强高斯噪声。

实验结果

研究问题

• RQ1 当V2V通信中存在位姿误差时，多智能体自动驾驶系统如何维持高性能感知？
• RQ2 在小型、噪声较大的多智能体场景中，端到端学习框架是否能优于传统位姿同步方法？
• RQ3 基于注意力的消息过滤在位姿校正特征融合中，能在多大程度上提升对异常消息的鲁棒性？
• RQ4 当噪声类型在训练中未见（如偏置或更强噪声）时，系统性能如何泛化？
• RQ5 随着协同车辆数量的增加，一致性模块与注意力模块的引入是否能提升性能？

主要发现

• 在高噪声条件下（0.8 m 平移，8° 旋转），所提框架在 IoU=0.7 时仍保持 89.931% 的 AP，显著优于 V2VNet，后者性能甚至低于单智能体水平。
• 消融实验表明，位姿回归、一致性模块与注意力机制三者均对性能提升有贡献，完整模型表现最佳。
• 即使在无噪声条件下，注意力模块仍优于 V2VNet，表明其在过滤不可靠消息方面的优势。
• 该模型对偏置噪声具有良好的泛化能力，在训练时仅使用无偏高斯噪声，但测试时性能仍远超单智能体 PnP。
• 随着邻近 SDV 数量增加，所提方法性能提升，而 V2VNet 因累积位姿误差导致性能下降，即使使用数据增强亦无法避免。
• 一致性模块显著降低 RMSE，但对 MAE 改进有限，表明其能有效处理异常值，同时不损害平均情况下的准确性。