[论文解读] Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles

Shunsuke Aoki, Takamasa Higuchi+1 more|arXiv (Cornell University)|Apr 23, 2020

Vehicular Ad Hoc Networks (VANETs)参考文献 22被引用 11

一句话总结

本文提出了一种基于深度强化学习（DRL）的车联网协同感知系统，通过智能选择传输的传感器数据，降低网络负载并提升检测精度。通过使用DRL优先传输高价值感知数据，该方案相比基线协议将分组丢失率降低，并将检测精度提升最高达12%，同时在高密度交通场景下增强了通信可靠性。

ABSTRACT

Sensor-based perception on vehicles are becoming prevalent and important to enhance the road safety. Autonomous driving systems use cameras, LiDAR, and radar to detect surrounding objects, while human-driven vehicles use them to assist the driver. However, the environmental perception by individual vehicles has the limitations on coverage and/or detection accuracy. For example, a vehicle cannot detect objects occluded by other moving/static obstacles. In this paper, we present a cooperative perception scheme with deep reinforcement learning to enhance the detection accuracy for the surrounding objects. By using the deep reinforcement learning to select the data to transmit, our scheme mitigates the network load in vehicular communication networks and enhances the communication reliability. To design, test, and verify the cooperative perception scheme, we develop a Cooperative & Intelligent Vehicle Simulation (CIVS) Platform, which integrates three software components: traffic simulator, vehicle simulator, and object classifier. We evaluate that our scheme decreases packet loss and thereby increases the detection accuracy by up to 12%, compared to the baseline protocol.

研究动机与目标

• 为解决协同感知中因传感器数据冗余传输导致的车载通信网络拥塞问题。
• 通过智能选择共享的感知数据，提升车联网系统中的检测精度与通信可靠性。
• 开发一种可扩展、可重复的仿真框架，用于测试协同感知系统，而无需依赖昂贵的真实世界试验。
• 证明深度强化学习能够有效降低网络负载，同时保持或提升协同感知中的目标检测性能。

提出的方法

• 该系统使用带有卷积神经网络（CNNs）的深度Q网络（DQN）处理本地传感器数据，并确定应传输的感知数据。
• 每辆联网车辆观察其本地环境及V2V通信状态，然后利用DRL基于感知价值与网络状况做出传输决策。
• 协同与智能车辆仿真平台（CIVS）集成了CARLA用于真实三维车辆与传感器仿真，SUMO用于交通移动性建模，以及自定义通信模型用于V2V数据交换。
• DRL智能体通过SUMO提供的移动性与传感器数据离线训练，学习最优传输策略，以最小化冗余与分组丢失。
• 系统基于检测率与分组接收率评估传输决策，以优化可靠性和准确性。
• 仿真框架支持在各种交通条件下对感知精度、网络负载与通信可靠性进行端到端评估。

实验结果

研究问题

• RQ1 如何利用深度强化学习在协同车辆网络中智能选择感知数据进行传输，以减少网络负载？
• RQ2 在遮挡或拥塞的交通场景下，所提出的基于DRL的传输策略相比基线协议在检测精度方面提升了多少？
• RQ3 训练时间如何影响基于DRL的感知系统在检测率与分组接收率方面的可靠性与性能？
• RQ4 智能数据选择对高密度车载环境中的网络拥塞与分组丢失有何影响？
• RQ5 结合CARLA、SUMO与自定义通信模型的仿真平台能否有效、可重复且可扩展地验证协同感知系统？

主要发现

• 所提出的基于DRL的方案相比基线协议将检测精度最高提升12%，尤其在CNN充分训练时表现更优。
• 由于网络负载降低与碰撞减少，所提方案下的分组接收率最高提升27%。
• 训练时间不足会导致检测性能与基线相近，凸显了为DRL智能体进行充分离线训练的重要性。
• 该系统在不同交通密度下均保持优异性能，展现出在真实世界类似条件下的鲁棒性。
• CIVS平台成功实现了协同感知系统的可重复、可扩展评估，支持对感知与通信性能的综合分析。