[论文解读] Detecting Intentions of Vulnerable Road Users Based on Collective Intelligence

Maarten Bieshaar, Günther Reitberger+4 more|arXiv (Cornell University)|Sep 11, 2018

Transportation Systems and Logistics被引用 9

一句话总结

本文提出了一种基于集体智能的协作式多智能体系统，用于检测和预测弱势道路使用者（VRUs）如行人和骑车人的意图。通过融合智能车辆、基础设施传感器和可穿戴设备的数据，采用概率传感器与知识融合技术，该系统扩展了感知范围，解决了遮挡和不一致性问题，并利用混合学习与分析模型实现实时、鲁棒的意图预测，显著提升了混合交通环境下的安全性和交通效率。

ABSTRACT

Vulnerable road users (VRUs, i.e. cyclists and pedestrians) will play an important role in future traffic. To avoid accidents and achieve a highly efficient traffic flow, it is important to detect VRUs and to predict their intentions. In this article a holistic approach for detecting intentions of VRUs by cooperative methods is presented. The intention detection consists of basic movement primitive prediction, e.g. standing, moving, turning, and a forecast of the future trajectory. Vehicles equipped with sensors, data processing systems and communication abilities, referred to as intelligent vehicles, acquire and maintain a local model of their surrounding traffic environment, e.g. crossing cyclists. Heterogeneous, open sets of agents (cooperating and interacting vehicles, infrastructure, e.g. cameras and laser scanners, and VRUs equipped with smart devices and body-worn sensors) exchange information forming a multi-modal sensor system with the goal to reliably and robustly detect VRUs and their intentions under consideration of real time requirements and uncertainties. The resulting model allows to extend the perceptual horizon of the individual agent beyond their own sensory capabilities, enabling a longer forecast horizon. Concealments, implausibilities and inconsistencies are resolved by the collective intelligence of cooperating agents. Novel techniques of signal processing and modelling in combination with analytical and learning based approaches of pattern and activity recognition are used for detection, as well as intention prediction of VRUs. Cooperation, by means of probabilistic sensor and knowledge fusion, takes place on the level of perception and intention recognition. Based on the requirements of the cooperative approach for the communication a new strategy for an ad hoc network is proposed.

研究动机与目标

• 解决在复杂交通环境中可靠检测和预测弱势道路使用者（VRUs）如行人和骑车人意图的挑战。
• 通过合作信息共享，将单个车辆的感知与预测范围扩展至其自身传感器范围之外。
• 通过异构智能体的集体智能，解决VRU检测中的不确定性、遮挡和不一致性问题。
• 通过在感知与意图识别层面集成概率传感器与知识融合，满足动态交通场景中的实时性要求。
• 开发一种专为智能交通系统中协作式VRU意图检测而设计的新型自组织通信策略。

提出的方法

• 系统将智能车辆、道路基础设施（摄像头、激光扫描仪）以及配备智能设备和可穿戴传感器的VRUs的数据整合到一个多模态传感器网络中。
• 通过结合分析方法与基于学习的方法的混合信号处理与建模技术，预测基本运动基元（如站立、移动、转向）。
• 通过多源传感器数据与上下文知识的概率融合实现轨迹预测，完成意图预测。
• 协作框架支持跨智能体的感知与意图识别的实时融合，通过集体推理解决遮挡与不一致问题。
• 提出一种新型自组织通信策略，以在动态交通条件下支持异构智能体间低延迟、可靠的数据显示交换。
• 系统采用概率传感器与知识融合，在不确定性与部分观测条件下，保持VRU行为的一致且鲁棒的模型。

实验结果

研究问题

• RQ1 如何将单个车辆的感知与预测范围扩展至其自身传感器范围之外，以提升VRU意图检测能力？
• RQ2 在遮挡、不确定性与传感器噪声条件下，哪些机制可实现VRU及其意图的可靠检测？
• RQ3 异构智能体（车辆、基础设施与VRUs）如何有效协作以解决不一致问题并提升整体系统鲁棒性？
• RQ4 何种通信策略可支持分布式智能体间用于协作式VRU意图预测的实时、低延迟数据交换？
• RQ5 与单个智能体系统相比，集体智能在多大程度上提升了VRU意图预测的准确性与可靠性？

主要发现

• 集体智能框架成功将单个智能体的感知范围扩展至其自身传感器范围之外，实现了VRU轨迹更长的预测时域。
• 通过多个智能体间的信息共享与融合，有效解决了VRU检测中的遮挡与不一致性问题，提升了检测的鲁棒性。
• 将基于学习的方法与分析方法相结合用于模式与活动识别，显著提升了运动基元与意图预测的准确性。
• 所提出的自组织通信策略支持实时数据交换，满足动态交通环境对严格延迟要求。
• 在感知与意图识别两个层面实施概率传感器与知识融合，显著提升了系统在不确定性与部分观测条件下的可靠性。
• 该系统在复杂真实交通场景中展现出更强的VRU行为检测与预测能力，有助于实现更安全、更高效的交通流。