[論文レビュー] Survey of Deep Reinforcement Learning for Motion Planning of Autonomous Vehicles

Szilárd Aradi|arXiv (Cornell University)|Jan 30, 2020

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本サーベイは、自律走行車の運動計画における深層強化学習（DRL）の応用をレビューし、戦略的、行動的、運動計画的、制御層という階層的タスク分解に焦点を当てる。DRLが生のセンサデータを処理し、複雑で部分的に観測可能な環境を扱える能力を示すが、実世界への適用可能性、安全性の検証、計算リソースの要求といった課題は未解決のままである。

ABSTRACT

Academic research in the field of autonomous vehicles has reached high popularity in recent years related to several topics as sensor technologies, V2X communications, safety, security, decision making, control, and even legal and standardization rules. Besides classic control design approaches, Artificial Intelligence and Machine Learning methods are present in almost all of these fields. Another part of research focuses on different layers of Motion Planning, such as strategic decisions, trajectory planning, and control. A wide range of techniques in Machine Learning itself have been developed, and this article describes one of these fields, Deep Reinforcement Learning (DRL). The paper provides insight into the hierarchical motion planning problem and describes the basics of DRL. The main elements of designing such a system are the modeling of the environment, the modeling abstractions, the description of the state and the perception models, the appropriate rewarding, and the realization of the underlying neural network. The paper describes vehicle models, simulation possibilities and computational requirements. Strategic decisions on different layers and the observation models, e.g., continuous and discrete state representations, grid-based, and camera-based solutions are presented. The paper surveys the state-of-art solutions systematized by the different tasks and levels of autonomous driving, such as car-following, lane-keeping, trajectory following, merging, or driving in dense traffic. Finally, open questions and future challenges are discussed.

研究の動機と目的

• 自律走行車の運動計画における深層強化学習（DRL）の最近の進展を、さまざまな走行タスクと階層的レイヤーにわたって体系化すること。
• DRLに基づく運動計画における設計選択、すなわち状態表現、報酬形状、環境モデリング、ニューラルネットワークアーキテクチャの分析。
• DRLを自律走行車に応用するうえでの未解決課題、特に安全性、耐障害性、検証、実世界への適用可能性に関する特定。
• DRLがエンドツーエンドおよびモジュラーな運動計画システムに適しているかどうかを、古典的制御法や最適化手法と比較して評価すること。
• 現在の研究におけるギャップの特定、例えば簡素化されたセンサおよび環境モデル、多様で現実的でないシミュレーション環境の不足。

提案手法

• 運動計画を4つの階層的レイヤーに分類：ルート計画、行動意思決定、軌道生成、局所フィードバック制御。
• 行動および運動計画レベルに適用されたDRL技術をレビューし、戦略的意思決定に適した有限行動POMDP（部分的に観測可能なマルコフ決定過程）に注目。
• 状態表現手法の分析、連続的および離散的状態、グリッドベース、カメラベースの認識モデルを含む。
• クルーズ制御、車線維持、合流、混雑した交通状況下のナビゲーションといったタスクに特化した報酬形状戦略の検討。
• 方策関数および価値関数の関数近似としての深層ニューラルネットワークの使用を評価し、トレーニングの複雑さとハイパーパrameterチューニングに注目。
• シミュレーションフレームワークと計算リソースの検討。リアルタイム性能とスケーラビリティが依然として大きな課題であると指摘。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、さまざまな走行タスクにおいて自律走行車の階層的運動計画にどのように効果的に応用できるか？
• RQ2 DRLの運動計画における成功を左右する主要な設計要素（状態表現、報酬関数、行動空間、環境モデリング）は何か？
• RQ3 なぜ大多数のDRLアプリケーションが、エンドツーエンドシステムではなく、部分的なサブタスクに焦点を当てるのか？
• RQ4 安全性と検証の観点から、DRLベースの運動計画器を実世界の自律走行車に展開するうえでの主な障壁は何か？
• RQ5 DRLエージェントの実世界走行シナリオへの耐障害性と適用可能性を高めるために、シミュレーション環境はどのように改善できるか？

主な発見

• DRLは合流や混雑した交通状況といった複雑で部分的に観測可能な走行シナリオの処理において有望な成果を示しているが、複雑さのため、多くの研究が簡素化されたサブタスクに限定されている。
• 理想化されたまたは真値のセンサモデルの使用は、実世界への適用可能性を制限しており、センサノイズを組み込むことで耐障害性が向上する可能性がある。
• 複雑なシナリオのDRLエージェントのトレーニングには、数百万ステップのトレーニングステップが必要であり、ハイパーパrameterチューニングと環境との相互作用のため、数時間から数日間のトレーニング時間がかかることも珍しくない。
• 推論時の計算コストは低いが、サンプルの複雑さが高く、長時間のトレーニングが続くため、アーキテクチャ的およびアルゴリズム的改善がなければ、DRLは大規模な展開には現実的でない。
• 現在の検証手法では、トレーニングとテストに同じ環境を使用するケースが多く、標準的な機械学習の原則に反しており、一般化の信頼性を低下させている。
• 安全性の検証は依然として重要な未解決課題であり、ISO 26262 や Automotive SPICE といった既存の基準は、深層学習ベースのシステムを十分にカバーしておらず、安全層のみでは複雑なシナリオにおける機能的安心性を保証できない。