[論文レビュー] Automated Lane Change Strategy using Proximal Policy Optimization-based Deep Reinforcement Learning

Fei Ye, Xuxin Cheng+3 more|arXiv (Cornell University)|Feb 7, 2020

Autonomous Vehicle Technology and Safety参考文献 25被引用数 18

ひとこと要約

本稿では、プロキシマル・ポリシー最適化（PPO）に基づく深層強化学習を用いて、安全で、効率的かつ快適な自動車の車線変更戦略を提案する。この手法は、安全、快適、効率のバランスを考慮しながら、混雑した交通状況においてリアルタイムで車線変更意思決定を行うエージェントを訓練する。テストでは99.15%の成功率と0.5%の衝突率を達成し、ルールベースのベースラインを上回った。

ABSTRACT

Lane-change maneuvers are commonly executed by drivers to follow a certain routing plan, overtake a slower vehicle, adapt to a merging lane ahead, etc. However, improper lane change behaviors can be a major cause of traffic flow disruptions and even crashes. While many rule-based methods have been proposed to solve lane change problems for autonomous driving, they tend to exhibit limited performance due to the uncertainty and complexity of the driving environment. Machine learning-based methods offer an alternative approach, as Deep reinforcement learning (DRL) has shown promising success in many application domains including robotic manipulation, navigation, and playing video games. However, applying DRL to autonomous driving still faces many practical challenges in terms of slow learning rates, sample inefficiency, and safety concerns. In this study, we propose an automated lane change strategy using proximal policy optimization-based deep reinforcement learning, which shows great advantages in learning efficiency while still maintaining stable performance. The trained agent is able to learn a smooth, safe, and efficient driving policy to make lane-change decisions (i.e. when and how) in a challenging situation such as dense traffic scenarios. The effectiveness of the proposed policy is validated by using metrics of task success rate and collision rate. The simulation results demonstrate the lane change maneuvers can be efficiently learned and executed in a safe, smooth, and efficient manner.

研究の動機と目的

• 複雑で動的な交通環境下における自律走行車両の安全で、効率的かつ快適な自動車線変更戦略を開発すること。
• 予期しないシナリオにおける柔軟性の欠如や高い衝突率といったルールベースのシステムの限界を克服すること。
• PPOによる信頼領域とクリッピング目的関数を用いることで、深層強化学習におけるサンプル非効率性と学習の遅さを解消すること。
• 訓練および推論中に危険な行動を即座に上書きする安全対策モジュールを統合すること。
• 成功率、衝突率、累積報酬といったシミュレーション指標を用いて、手法の妥当性を検証すること。

提案手法

• エージェントが高水準な車線変更ポリシーを学習できるように、エージェント・クリティック構造を用いたプロキシマル・ポリシー最適化（PPO）アルゴリズムを採用する。
• 信頼領域を強制するためのクリッピング目的関数を採用し、古典的なTRPOと比較して訓練の安定性とサンプル効率を向上させる。
• 安全制約に違反する予測行動が発生した場合にそれを置き換える安全対策モジュールを統合し、安全な探索を保証する。
• 快適性、効率性、安全性の報酬を統合したマルチコンポonent報酬関数を設計し、ポリシー学習を支援する。
• 縦方向制御には事前に定義されたインテリジェントドライバー・モデル（IDM）を用い、意思決定と低レベル制御を分離する。
• 連続的な状態特徴（相対的位置、速度、衝突までの時間（TTC）など）を用いて、密な交通状況のシミュレーション環境でエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 PPOベースの深層強化学習は、高い成功率と低い衝突率を達成できるように、密な交通状況において安全で効率的な車線変更ポリシーを学習できるか？
• RQ2 同一条件下で、提案手法のPPOベースの手法は、ルールベースのエージェントと比較して、成功率および衝突率においてどのように異なるか？
• RQ3 安全対策モジュールは、性能に悪影響を及げることなく、訓練の安定性と一般化性能をどの程度向上させるか？
• RQ4 報酬関数の個々の構成要素（快適性、効率性、安全性）は、最終的なポリシー行動にどのように寄与しているか？
• RQ5 エージェントは、予め見られなかった交通シナリオに対しても、高い性能と安全性を維持して一般化できるか？

主な発見

• 訓練済みのPPOエージェントは、1024タイムステップのホライズンを持つ50回のテストロールアウトにおいて、99.15%の成功率と0.50%の衝突率を達成した。
• 訓練初期の衝突率は20%であったが、訓練終了時には2%に低下し、時間経過とともに安全性が向上したことが示された。
• 探索初期段階では安全報酬が一時的に低下したが、危険な操作を避けるよう学習するにつれて、徐々に上昇した。
• 平均累積報酬曲線は一貫した改善を示し、マルチオブジェクティブ報酬関数の有効な学習が行われたことが裏付けられた。
• PPOベースのエージェントは、ルールベースのエージェントを著しく上回った：最良のTTCを用いたルールベースエージェントと比較して、成功率は9.64%高く、衝突率は6.64%低かった。
• 10メートルの安全ギャップ閾値を設定したルールベースエージェントは、0%の衝突率を達成したが、成功率は70%にとどまり、安全性と効率性のトレードオフが顕著であった。PPOエージェントは、このトレードオフを効果的に緩和した。