[論文レビュー] Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles

Shunsuke Aoki, Takamasa Higuchi+1 more|arXiv (Cornell University)|Apr 23, 2020

Vehicular Ad Hoc Networks (VANETs)参考文献 22被引用数 11

ひとこと要約

本論文は、ネットワーク負荷を軽減し、検出精度を向上させるために、センサデータの送信を知的に選択する深層強化学習（DRL）に基づくコoperativeな認識システムを提案する。DRLを用いて高価値の認識データを優先することで、パケット損失を低減し、ベースラインプロトコルと比較して検出精度を最大12%向上させ、混雑した交通状況下での通信信頼性を向上させる。

ABSTRACT

Sensor-based perception on vehicles are becoming prevalent and important to enhance the road safety. Autonomous driving systems use cameras, LiDAR, and radar to detect surrounding objects, while human-driven vehicles use them to assist the driver. However, the environmental perception by individual vehicles has the limitations on coverage and/or detection accuracy. For example, a vehicle cannot detect objects occluded by other moving/static obstacles. In this paper, we present a cooperative perception scheme with deep reinforcement learning to enhance the detection accuracy for the surrounding objects. By using the deep reinforcement learning to select the data to transmit, our scheme mitigates the network load in vehicular communication networks and enhances the communication reliability. To design, test, and verify the cooperative perception scheme, we develop a Cooperative & Intelligent Vehicle Simulation (CIVS) Platform, which integrates three software components: traffic simulator, vehicle simulator, and object classifier. We evaluate that our scheme decreases packet loss and thereby increases the detection accuracy by up to 12%, compared to the baseline protocol.

研究の動機と目的

• コoperativeな認識におけるセンサデータの重複送信が原因で発生する車両通信ネットワークの混雑問題に対処すること。
• 知的な認識データ共有選択により、コネクテッドカー・システムの検出精度と通信信頼性を向上させること。
• 高価値の実世界試験に依存せずに、スケーラブルで再現可能なシミュレーションフレームワークを構築すること。
• 深層強化学習が、協働認識におけるネットワーク負荷を効果的に低減しながら、オブジェクト検出性能を維持または向上させられることを示すこと。

提案手法

• 本システムは、畳み込みニューラルネットワーク（CNN）を用いた深層Qネットワーク（DQN）を用い、局所的なセンサデータを処理し、どの認識データを送信するかを決定する。
• 各コネクテッドカーは、自車の周囲環境とV2V通信状態を観測し、認識価値とネットワーク状態に基づいてDRLを用いて送信意思決定を行う。
• 協働的で知的な車両シミュレーション（CIVS）プラットフォームは、CARLAを用いたリアルな3次元車両およびセンサシミュレーション、SUMOを用いた交通移動モデリング、およびカスタム通信モデルによるV2Vデータ交換を統合している。
• DRLエージェントは、SUMOからの移動およびセンサデータを用いてオフラインで訓練され、冗長性とパケット損失を最小限に抑える最適な送信ポリシーを学習する。
• 送信意思決定は、検出率とパケット受信率に基づいて評価され、信頼性と正確性の最適化を図る。
• シミュレーションフレームワークにより、さまざまな交通状況下で認識精度、ネットワーク負荷、通信信頼性のエンドツーエンド評価が可能となる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習を用いて、協働車両ネットワークにおける認識データの送信を知的に選択することで、ネットワーク負荷をどのように低減できるか。
• RQ2 遮蔽または混雑した交通状況下において、提案されたDRLベースの送信ポリシーは、ベースラインプロトコルと比較して、検出精度をどの程度向上させるか。
• RQ3 トレーニング時間の影響は、検出率とパケット受信率という観点から、DRLベースの認識システムの信頼性とパフォーマンスにどのように現れるか。
• RQ4 知的なデータ選択は、高密度の車両環境におけるネットワーク混雑とパケット損失にどのような影響を与えるか。
• RQ5 CARLA、SUMO、およびカスタム通信モデルを統合したシミュレーションプラットフォームは、再現可能でスケーラブルな方法で協働認識システムを効果的に検証できるか。

主な発見

• 提案されたDRLベースの手法は、CNNが十分に訓練された場合、ベースラインプロトコルと比較して検出精度を最大12%向上させる。
• 提案手法では、ネットワーク負荷の低減と衝突の減少により、パケット受信率が最大27%向上する。
• トレーニング時間が不十分な場合、検出性能はベースラインと同等となり、DRLエージェントのための十分なオフライントレーニングの重要性が浮き彫りになる。
• 本システムは、さまざまな交通密度にわたり優れた性能を維持し、現実の交通環境に類似した条件下での頑健性を示す。
• CIVSプラットフォームは、協働認識システムの再現可能でスケーラブルな評価を成功裏に実現し、認識および通信パフォーマンス分析を両方支援する。