[論文レビュー] Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization

Lu Wen, Jingliang Duan+3 more|arXiv (Cornell University)|Mar 3, 2020

Reinforcement Learning in Robotics参考文献 21被引用数 7

ひとこと要約

本稿では、信頼領域制約を用いた三ネットワーク型アクター・クリティックフレームワークにリスク関数を統合することで、自律走行車両向けの安全な強化学習アルゴリズムであるParallel Constrained Policy Optimization (PCPO)を提案する。PCPOは、期待リスクを事前に定めた限界値以下に制限することで安全性を保証し、PPOおよびCPOと比較してより高速な学習と高いデータ効率を達成しながら、Lane-keepingタスクおよび複数車両が交差する交差点タスクの両方において、学習中にも安全を維持する。

ABSTRACT

Reinforcement learning (RL) is attracting increasing interests in autonomous driving due to its potential to solve complex classification and control problems. However, existing RL algorithms are rarely applied to real vehicles for two predominant problems: behaviours are unexplainable, and they cannot guarantee safety under new scenarios. This paper presents a safe RL algorithm, called Parallel Constrained Policy Optimization (PCPO), for two autonomous driving tasks. PCPO extends today's common actor-critic architecture to a three-component learning framework, in which three neural networks are used to approximate the policy function, value function and a newly added risk function, respectively. Meanwhile, a trust region constraint is added to allow large update steps without breaking the monotonic improvement condition. To ensure the feasibility of safety constrained problems, synchronized parallel learners are employed to explore different state spaces, which accelerates learning and policy-update. The simulations of two scenarios for autonomous vehicles confirm we can ensure safety while achieving fast learning.

研究の動機と目的

• 自律走行車両の既存の強化学習（RL）手法に安全保証が欠けているという問題に対処すること。
• リスクに無関心なRLの限界を克服し、未知または複雑なシナリオで不安全な行動をとる可能性を回避すること。
• 学習中の安全性を保証しながらも、高い学習速度とデータ効率を維持できる安全なRLアルゴリズムの開発。
• 安全制約に違反することなく、安全な探索と最適または準最適方策への収束を可能にすること。
• Lane-keepingおよび交差点通過を含む、実世界に近い自律走行タスクにおいて、手法の有効性を検証すること。

提案手法

• PCPOは、標準的なアクター・クリティックアーキテクチャを拡張し、別々のニューラルネットワークを三つ用いた三部構成のフレームワークに拡張する。それぞれは方策、価値関数、および期待リスク関数の近似に使用される。
• 信頼領域制約を適用することで、大きな方策更新を許容しつつも、単調な改善を保証し、深刻な方策劣化を防ぐ。
• リスク関数は、その期待値が事前に定めたリスク限界以下に保たれるように制約され、学習中の安全性が確保される。
• 同期された並列学習者が同時に状態空間の異なる領域を探索することで、探索の加速と安全な方策への収束を促進する。
• 目的は期待リターンを最大化することであり、リスク制約を満たす制約付き最適化の定式化を用いる。
• リスク指標を学習目的に組み込むことで、リスク指向の探索を統合し、安全で制御可能な領域における探索を促進する。

実験結果

リサーチクエスチョン

• RQ1 人間の示範や事前に定義された安全行動に依存せずに、自律走行タスクの学習中に安全性を維持できる強化学習アルゴリズムは存在するか？
• RQ2 複雑な走行環境において、安全な方策学習を保証するために、深層強化学習フレームワークでリスクを明示的にモデル化し制約することは可能か？
• RQ3 提案されたPCPOアルゴリズムは、標準的なPPOおよびCPOと比較して、どの程度学習速度とデータ効率が向上するか？
• RQ4 交差点通過のような安全が重要なシナリオにおいて、PCPOは不安全または準最適な方策への収束を防げるか？
• RQ5 並列学習は、高次元で連続的な制御タスクにおける安全な方策最適化の実現可能性と収束性をどのように向上させるか？

主な発見

• Lane-keepingタスクにおいて、PCPOはCPOに比べ35%高速な学習速度を達成し、PPOに比べ70%以上も高速であった。
• 交差点通過タスクにおいて、PCPOは約800エポックで理論的最適リターンの0に収束した。これに対してCPOは1400エポック経過してもリターンが-5に留まった。
• PCPOは学習全期間にわたり期待リスク値を事前に定めた安全限界以下に維持したが、PPOのリスクは30に達し、安全閾値5を大きく超えた。
• PCPOおよびCPOのリスク曲線は、安全限界付近で単調に減少し、安定化する傾向を示し、一貫した安全性の強制が確認された。
• PCPOはPPOおよびCPOと比較して、より高いデータ効率を示し、不安全または準最適な方策にハマりにくかった。
• 両タスクにおいて、PCPOは安全性、学習速度、リターン最適化のバランスに優れ、実世界の自律走行応用において有効であることが確認された。