[論文レビュー] Safe Driving via Expert Guided Policy Optimization

Zhenghao Peng, Quanyi Li+2 more|arXiv (Cornell University)|Oct 13, 2021

Reinforcement Learning in Robotics参考文献 39被引用数 4

ひとこと要約

本稿では、安全な探索を保証し、是正のデモンストレーションを提供するガーディアン（専門家ポリシーとスイッチ関数を含む）を統合した、Expert-in-the-loop強化学習の新手法であるエキスパートガイドドポリシーオプティマイゼーション（EGPO）を提案する。制約付き最適化により干渉頻度を制限し、オフライン強化学習によりオフポリシーのデモンストレーションからの学習を安定化させることで、EGPOは安全運転タスクにおいて、ベースラインと比較して顕著に優れた安全性、サンプル効率、一般化性能を達成した。

ABSTRACT

When learning common skills like driving, beginners usually have domain experts standing by to ensure the safety of the learning process. We formulate such learning scheme under the Expert-in-the-loop Reinforcement Learning where a guardian is introduced to safeguard the exploration of the learning agent. While allowing the sufficient exploration in the uncertain environment, the guardian intervenes under dangerous situations and demonstrates the correct actions to avoid potential accidents. Thus ERL enables both exploration and expert's partial demonstration as two training sources. Following such a setting, we develop a novel Expert Guided Policy Optimization (EGPO) method which integrates the guardian in the loop of reinforcement learning. The guardian is composed of an expert policy to generate demonstration and a switch function to decide when to intervene. Particularly, a constrained optimization technique is used to tackle the trivial solution that the agent deliberately behaves dangerously to deceive the expert into taking over. Offline RL technique is further used to learn from the partial demonstration generated by the expert. Safe driving experiments show that our method achieves superior training and test-time safety, outperforms baselines with a substantial margin in sample efficiency, and preserves the generalizabiliy to unseen environments in test-time. Demo video and source code are available at: https://decisionforce.github.io/EGPO/

研究の動機と目的

• 実世界の強化学習における安全性の訓練という重要な課題に取り組むこと、特に自律走行のような高リスク分野を対象とする。
• 必要最小限の干渉と是正デモンストレーションを提供する人間を含むガーディアンを統合することで、安全な探索を実現するフレームワークを開発すること。
• エージェントが干渉を意図的に誘発して安全性を回避するのを防ぐことにより、エージェントが強固で安全な行動を学習することを保証すること。
• 部分的でオフポリシーのデモンストレーションを効果的に活用し、サンプル効率とポリシーの一般化を向上させること。
• 人間の監視が高コストである状況においても、環境との相互作用を最小限に抑えながら高い性能を達成できることを実証すること。

提案手法

• ガーディアンメカニズムは、危険な行動を検出し、専門家による干渉をトリガーするスイッチ関数と、干渉中に是正行動を提供する専門家ポリシーから構成される。
• 干渉頻度を制限するため、ラグランジュ法に基づく制約付き最適化が適用され、エージェントが専門家による安全性に依存するのを防ぐ。
• ラグランジュ乗数はPIDコントローラーを用いて更新され、オフポリシー強化学習における双対最適化の安定化を図り、収束性と学習安定性を向上させる。
• CQL（保守的Q学習）目的関数を用いたオフライン強化学習により、ガーディアンから収集されたオフポリシーのデモンストレーションデータに基づいてエージェントを学習させる。
• オンライン探索と専門家のデモンストレーションを組み合わせ、報酬信号は干渉の発生のみとして、効果的な模倣学習を可能にする。
• スイッチ関数は、手動で定義されたルールではなく統計的に学習されるため、多様な危険な状況に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 干渉とデモンストレーションを統合したガーディアンメカニズムは、強化学習における訓練の安全性とサンプル効率を向上させることができるか？
• RQ2 エージェントが干渉を頻繁に誘発することで学習を回避するのを防ぐには、どのようにすればよいか？
• RQ3 デモンストレーションが極めてオフポリシー的で部分的である場合、オフラインRL技術がポリシー学習の安定化にどの程度寄与できるか？
• RQ4 標準的な安全強化学習および模倣学習のベースラインと比較して、提案手法は未確認の環境にどのように一般化するか？
• RQ5 人間の監視が高コストである状況においても、環境との相互作用を最小限に抑えながら高い性能を達成できるか？

主な発見

• EGPOはテスト成功確率0.85 ± 0.05、エピソードリターン388.37 ± 10.01を達成し、安全性とサンプル効率の両面でベースラインを顕著に上回った。
• アブレーションスタディの結果、干渉の最小化を除去するとエージェントは道路の縁に近づき、成功確率が0.0、コストが1.0に低下し、その必要性が裏付けられた。
• 低品質な専門家（30%の成功確率）を用いることで訓練コストが上昇し、性能が低下した。これは、訓練の安全性が専門家の安全性によって制限されることを検証した。
• ラグランジュ乗数の更新にPIDコントローラーを用いることで学習が安定化し、その除去により極めて不安定な学習が生じることを確認した。
• EGPOは、人間のデータをより少ない状況でも、行動クラッシングやILベースラインを上回った。これは、模倣学習における効率性を示している。
• 人間を含む実験では、EGPOはたった15,000ステップの環境ステップで90%の成功率を達成したが、SAC-Lagは185,000ステップを要した。これは、EGPOの優れたサンプル効率を示している。