[論文レビュー] Driving Decision and Control for Autonomous Lane Change based on Deep Reinforcement Learning

Tianyu Shi, Pin Wang+3 more|arXiv (Cornell University)|Apr 23, 2019

Traffic control and management参考文献 15被引用数 18

ひとこと要約

本論文は、2次関数近似を用いたDeep Q-Network（DQN）を用いて、意思決定（車線変更の可否）と制御（軌道生成と経路追従）を統合する深層強化学習フレームワークを提案する。シミュレーションにおいて安全で快適な車線変更を実現し、Pure Pursuit制御と多項式軌道計画を用いたエンドツーエンド学習により、高いロバスト性を示した。

ABSTRACT

We apply Deep Q-network (DQN) with the consideration of safety during the task for deciding whether to conduct the maneuver. Furthermore, we design two similar Deep Q learning frameworks with quadratic approximator for deciding how to select a comfortable gap and just follow the preceding vehicle. Finally, a polynomial lane change trajectory is generated and Pure Pursuit Control is implemented for path tracking. We demonstrate the effectiveness of this framework in simulation, from both the decision-making and control layers. The proposed architecture also has the potential to be extended to other autonomous driving scenarios.

研究の動機と目的

• 深層強化学習を用いて、自律車線変更の意思決定と制御を統合するフレームワークを開発すること。
• DQNに基づく意思決定ポリシーを用いて、車線変更の際の安全性を確保すること。
• 多項式フィッティングを用いて、快適で滑らかな軌道を生成すること。
• Pure Pursuit制御を用いて、正確な経路追従を実現すること。
• 意思決定層と制御層の両方において、シミュレーション環境でフレームワークの有効性を検証すること。

提案手法

• 2次関数近似を用いたDeep Q-Network（DQN）を活用し、安全な車線変更意思決定を学習する。
• 2つの独立したDQNフレームワークを採用：1つはギャップ選択用、もう1つは先行車両の追従用。
• 多項式ベースの車線変更軌道を生成し、滑らかで快適な運動を実現する。
• 生成された軌道の正確な追従のためにPure Pursuit制御を適用する。
• すべてのシステムをシミュレーテッドドライブ環境でエンドツーエンドに学習する。
• 訓練中にDQN報酬関数に安全要因を直接統合する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、複雑な交通環境下で安全で快適な車線変更意思決定を効果的に学習できるか？
• RQ2 2次関数近似を用いたDQNベースのフレームワークは、変化する交通状況下でも車線変更意思決定に一般化できるか？
• RQ3 多項式軌道計画は、自律車線変更の快適性と滑らかさをどの程度向上させるか？
• RQ4 Pure Pursuit制御は、シミュレーション環境で生成された軌道を信頼性高く追従できるか？
• RQ5 提案されたフレームワークは、車線変更以外の自律走行シナリオへも拡張可能か？

主な発見

• DQNに基づく意思決定ポリシーは、安全なギャップが存在する場合にのみ車線変更を開始するよう学習され、衝突リスクを最小限に抑えた。
• 2次関数近似の導入により、標準DQNと比較してポリシーの安定性と収束性が向上した。
• 多項式軌道生成により、急激な加速度変化（ジャerk）を抑えた滑らかな運動が実現され、乗車快適性が向上した。
• Pure Pursuit制御は、シミュレーションで低側方誤差で正確な経路追従を達成した。
• 統合フレームワークは、複数のシミュレーションシナリオにわたり高いロバスト性を示し、意思決定層と制御層の両方で有効性が検証された。
• 本手法は、合流や追い越しといった他の自律走行タスクへの応用可能性を示している。