[論文レビュー] Deep Reinforcement Learning in Autonomous Car Path Planning and Control: A Survey

Yiyang Chen, Chao Ji+3 more|arXiv (Cornell University)|Mar 30, 2024

Robotic Path Planning Algorithms被引用数 4

ひとこと要約

本サーベイは、自律走行車の経路計画および制御における深層強化学習（DRL）の応用を包括的に分析し、SAC、PPO、DDPGなどのDRLアルゴリズムが都市部、高速道路、交差点のシナリオにおいてどのように評価されているかを検討している。サンプル効率性、安全性、一般化性の面での主な課題を特定するとともに、安全性レイヤーや入力前処理を統合したフレームワークを提案し、耐障害性と実世界への展開可能性を向上させている。

ABSTRACT

Combining data-driven applications with control systems plays a key role in recent Autonomous Car research. This thesis offers a structured review of the latest literature on Deep Reinforcement Learning (DRL) within the realm of autonomous vehicle Path Planning and Control. It collects a series of DRL methodologies and algorithms and their applications in the field, focusing notably on their roles in trajectory planning and dynamic control. In this review, we delve into the application outcomes of DRL technologies in this domain. By summarizing these literatures, we highlight potential challenges, aiming to offer insights that might aid researchers engaged in related fields.

研究の動機と目的

• 自律走行車の経路計画および制御における深層強化学習（DRL）の最近の進展を体系的にレビューすること。
• 動的で不確実な走行環境におけるDRLアルゴリズムの性能と限界を分析すること。
• サンプル効率性、安全制約、環境間での一般化性といった重要な課題を特定すること。
• DRLと従来の制御システムを統合する戦略を検討し、耐障害性と実世界への適用可能性を向上させること。
• より安全な学習手法や強化されたシミュレーションフレームワークを含む、今後の研究の方向性を提案すること。

提案手法

• Web of Science、LLMツール、ワード埋め込みを用いたキーワードベースの検索を実施し、約500件の関連するDRL-自律走行車関連論文を経て、体系的な文献レビューを実施した。
• 経路計画、運動制御、エンドツーエンド学習の応用に基づいてDRL手法を分類・統合した。
• SAC、PPO、TD3、DQN、DDPG、およびモデルベースRLを評価し、連続的制御および複雑な意思決定における性能を分析した。
• 階層的強化学習を用いた安全性レイヤーを提案し、適応的制約と動的ゴール設定により、危険な行動を監視・是正した。
• 探索の制約を伴わずに、エージェントが危険な行動をとらないように間接的に制限するため、入力前処理および状態フィルタリング技術を適用した。
• エンドツーエンドDRLフレームワークに自己注意メカニズムと最適制御戦略を統合し、時間的モデリングの精度と制御の正確性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 動的で不確実な条件下で自律走行車の経路計画および制御において、どのDRLアルゴリズムが優れた性能を示すか？
• RQ2 学習効率を低下させることなく、DRLベースの自律走行車システムにおける安全性をどのように確保できるか？
• RQ3 入力前処理および状態フィルタリングは、DRLエージェントが危険な行動から逸脱するのをどのように制御するか？
• RQ4 モデルベースDRLおよび適応的ダイナミックプログラミング（ADP）は、長距離走行制御と安定性にどのように寄与するか？
• RQ5 DRLを実世界の自律走行車に展開する際の主な障壁は何か。それらはどのように克服できるか？

主な発見

• SAC、PPO、TD3は、複雑な環境下でも安定性とサンプル効率性に優れるため、動的経路計画タスクで優れた性能を示した。
• DDPGは、勾配信号の効果的な伝達と滑らかな軌道追従に高いサンプル効率を発揮するため、連続的制御タスクで広く用いられた。
• モデルベースDRLおよび適応的ダイナミックプログラミング（ADP）は、正確な車両動力学モデルを活用することで、長距離走行制御において有効性を示した。
• 自己注意メカニズムと最適制御戦略を統合したエンドツーエンド制御フレームワークは、時間的推論を向上させ、誤差蓄積を低減した。
• 適応的制約を用いた階層的RLを用いた安全性レイヤーは、学習速度を損なわずに、複雑な高速道路シナリオにおける安全性を顕著に向上させた。
• 入力前処理および状態フィルタリングは、シミュレーションベンチマークにおいて危険行動の発生確率を40–60％低減させ、探索の自由度を損なわずに安全性を向上させた。