[論文レビュー] Coordinating CAV Swarms at Intersections with a Deep Learning Model

Jiawei Zhang, Shen Li+1 more|arXiv (Cornell University)|Nov 10, 2022

Robotic Path Planning Algorithms被引用数 4

ひとこと要約

本論文では、信号のない交差点における連結自動運転車両（CAV）群の近似的最適通過順序を高速に生成する、ディープラーニングと木探索のハイブリッドアルゴリズムであるAlphaOrderを提案する。解が得られたシナリオ上でトレーニングされたポ인터ネットワークと、オンライン木探索による結果の最適化を組み合わせることで、従来の手法と比べて著しく遅延が低く、大規模なCAVフローに対してもリアルタイム性能を達成する。

ABSTRACT

Connected and automated vehicles (CAVs) are viewed as a special kind of robots that have the potential to significantly improve the safety and efficiency of traffic. In contrast to many swarm robotics studies that are demonstrated in labs by employing a small number of robots, CAV studies aims to achieve cooperative driving of unceasing robot swarm flows. However, how to get the optimal passing order of such robot swarm flows even for a signal-free intersection is an NP-hard problem (specifically, enumerating based algorithm takes days to find the optimal solution to a 20-CAV scenario). Here, we introduce a novel cooperative driving algorithm (AlphaOrder) that combines offline deep learning and online tree searching to find a near-optimal passing order in real-time. AlphaOrder builds a pointer network model from solved scenarios and generates near-optimal passing orders instantaneously for new scenarios. Furthermore, our approach provides a general approach to managing preemptive resource sharing between swarm robotics (e.g., scheduling multiple automated guided vehicles (AGVs) and unmanned aerial vehicles (UAVs) at conflicting areas

研究の動機と目的

• 信号のない交差点における途切れのないCAV群の最適通過順序を決定するNP困難な問題に対処すること。
• 従来の手法が抱える課題（高い計算コスト、スケーラビリティの低さ、ヒューリスティックルール依存）を、ディープラーニングとオンライン探索の統合によって克服すること。
• 動的な交通環境下で、リアルタイムかつ低複雑性のCAV群の連携を可能にすること。
• 多様な交通需要パターンや交差点構成に一般化し、不均一な条件下でも安定したパフォーマンスを発揮すること。
• スワームロボティクスおよびインテリジェント交通システム分野における予備的リソース共有のスケーラブルで転送可能なフレームワークを提供すること。

提案手法

• AlphaOrderは、解が得られたシナリオのデータセット上でトレーニングされたポインタネットワーク $p_{\theta}$ を用い、車両状態入力を直接入力として、候補となる通過順序を予測する。
• 高報酬シーケンスを探索することで初期予測を改善するため、モンテカルロ木探索（MCTS）モジュールを統合する。
• REINFORCE強化学習フレームワークにおけるベーシスとして、批判ネットワーク $b_{\delta}$ がトレーニングの安定化を図る。
• 2段階のパイプラインを採用：まず合成シナリオ上でポインタネットワークをオフラインで事前トレーニングし、次に新しい未確認の構成に対してオンライン木探索を実行する。
• モデルの更新をクラウド上で遠隔で実施することで、現地装置の複雑性を最小限に抑えることを想定し、レーダーステーションに展開可能である。
• 本手法は、任意の数のCAVやさまざまな交通需要パターンに一般化可能であり、不均一なフローに対しても対応可能である。

実験結果

リサーチクエスチョン

• RQ1 解が得られたシナリオでトレーニングされたディープラーニングモデルは、信号のない交差点における未確認のCAV群構成に対して、近似的最適な通過順序を生成できるか？
• RQ2 オンライン木探索と組み合わせたディープラーニングは、従来の最適化法やヒューリスティック法と比較して、計算効率と解の品質をどのように向上させるか？
• RQ3 本モデルは、不均一で高流量のフローを含むさまざまな交通需要パターンに、どの程度一般化できるか？
• RQ4 FIFOおよびMCTSオンリーベースラインと比較して、AlphaOrderは総遅延をどの程度低減できるか？
• RQ5 リソース制限のあるレーダーステーションに効率的に展開可能であり、リアルタイム応答性を維持できるか？

主な発見

• 高需要シナリオでは、FIFOベースラインと比較して平均遅延を最大40％まで削減し、パターン1ではMCTSベースの手法と比較して25％の改善を達成した。
• 不均一な交通需要シナリオ（例：2.5倍のフロー差）では、AlphaOrderは優れたパフォーマンスを維持し、パターン2ではFIFOと比較して平均遅延が14.23秒（FIFO：22.27秒）にまで短縮された。
• 最大40台のCAVを含むシナリオでは、ミリ秒単位で近似的最適解を達成したが、列挙ベースの手法では最適順序を計算するのに数日を要した。
• 批判ネットワークとMCTSの最適化ステップにより、解の品質が著しく向上し、最終出力は初期のポインタネットワーク予測およびベースラインアルゴリズムを常に上回った。
• AlphaOrderは多様な交通パターンに強く一般化し、パターン1では平均12.81秒、パターン2では14.23秒の遅延を示しており、フローの不均衡に対しても耐性があることが示された。
• モデルの低オンデバイス複雑性により、実用的なレーダーステーションへの展開が可能であり、トレーニングと更新はクラウド上で遠隔で処理される。