[論文レビュー] Navigating Intersections with Autonomous Vehicles using Deep Reinforcement Learning

David Isele, Akansel Cosgun+2 more|arXiv (Cornell University)|May 2, 2017

Autonomous Vehicle Technology and Safety参考文献 32被引用数 35

ひとこと要約

本論文は、動的交通状況の相互作用から学習することで、信号のない交差点を安全かつ効率的に走行できる自律走行車両を実現するための深層強化学習（DRL）手法を提案する。この手法は、タスク完了時間および成功確率においてルールベースのヒューリスティクスを上回るが、視界遮蔽に対処するための能動的センシング行動も発見するが、一般化性能は依然として限定的である。

ABSTRACT

Providing an efficient strategy to navigate safely through unsignaled intersections is a difficult task that requires determining the intent of other drivers. We explore the effectiveness of Deep Reinforcement Learning to handle intersection problems. Using recent advances in Deep RL, we are able to learn policies that surpass the performance of a commonly-used heuristic approach in several metrics including task completion time and goal success rate and have limited ability to generalize. We then explore a system's ability to learn active sensing behaviors to enable navigating safely in the case of occlusions. Our analysis, provides insight into the intersection handling problem, the solutions learned by the network point out several shortcomings of current rule-based methods, and the failures of our current deep reinforcement learning system point to future research directions.

研究の動機と目的

• ドライバの意思が曖昧な状況下でも、自律走行車両が信号のない交差点を安全に走行できる強化学習ベースのポリシーを開発すること。
• 深層強化学習が、交差点走行タスクにおいて従来のルールベースのヒューリスティクスを上回ることを評価すること。
• エージェントが視界遮蔽に起因するリスクを軽減するために、能動的センシング行動を学習できるかを調査すること。
• 現在のDRLシステムにおける交差点走行の限界を特定し、今後の研究方向を提案すること。

提案手法

• 本手法は、周囲の交通状況の観測に基づいて、交差点でのリアルタイム意思決定を行うエージェントを、深層強化学習で訓練する。
• エージェントは、周囲の車両の位置、速度、視界遮蔽状態を観測し、交通のダイナミクスを推定して行動を計画する。
• タスク完了のためのスパarsely denseな報酬形状を最大化するポリシーを学習するために、深層Qネットワーク（DQN）または類似のDRLアーキテクチャが用いられる。
• 多様な交通シナリオを含むシミュレーション環境で訓練することで、耐性を高める。
• 能動的センシング行動は報酬関数を通じて暗黙的に学習され、エージェントが不確実性を低減するために自らの位置や速度を調整するよう促される。
• タスク完了時間、ゴール到達成功率、衝突頻度などの指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、信号のない交差点を走行する際に、ルールベースのヒューリスティクスを上回ることができるか？
• RQ2 視界遮蔽や不確実性を軽減するために、エージェントはどのような能動的センシング行動を学習したか？
• RQ3 訓練されたポリシーは、異なる交通シナリオや交差点の形状にどの程度一般化できるか？
• RQ4 現在のDRLシステムの限界を露呈する失敗モードは何か？

主な発見

• DRLベースのエージェントは、シミュレーション環境においてヒューリスティクスベースラインよりも高いゴール到達成功率を達成した。
• エージェントは平均タスク完了時間を短縮し、交差点通過の効率性が向上した。
• 視界遮蔽状況における不確実性を低減するために、速度や位置を調整する能動的センシング行動を学習した。
• 改善は見られたが、異なる交差点レイアウトや交通密度への一般化性能は限定的であった。
• DRLシステムの失敗は主に、トレーニングシナリオに過適合することと、分布シフトに敏感であることによるものであった。
• 結果から、現在のルールベース手法の欠陥、特に動的交通状況における柔軟性の欠如が浮き彫りになった。