[論文レビュー] Efficient Learning of Safe Driving Policy via Human-AI Copilot Optimization

Quanyi Li, Zhenghao Peng+1 more|arXiv (Cornell University)|Feb 17, 2022

Autonomous Vehicle Technology and Safety被引用数 15

ひとこと要約

本稿では、自律走行における訓練の安全性を保証しつつ人間の関与を最小限に抑える、人間を含むループ強化学習手法であるHACO（Human-AI Copilot Optimization）を提案する。部分的な人間のデモとプロキシ価値関数を活用することで、人間の予算を最小限に抑えつつ、高いサンプル効率と未確認環境における優れた安全性および一般化性能を達成し、強化学習（RL）およびImitation Learning（IL）のベースラインを上回る性能を発揮する。

ABSTRACT

Human intervention is an effective way to inject human knowledge into the training loop of reinforcement learning, which can bring fast learning and ensured training safety. Given the very limited budget of human intervention, it remains challenging to design when and how human expert interacts with the learning agent in the training. In this work, we develop a novel human-in-the-loop learning method called Human-AI Copilot Optimization (HACO).To allow the agent's sufficient exploration in the risky environments while ensuring the training safety, the human expert can take over the control and demonstrate how to avoid probably dangerous situations or trivial behaviors. The proposed HACO then effectively utilizes the data both from the trial-and-error exploration and human's partial demonstration to train a high-performing agent. HACO extracts proxy state-action values from partial human demonstration and optimizes the agent to improve the proxy values meanwhile reduce the human interventions. The experiments show that HACO achieves a substantially high sample efficiency in the safe driving benchmark. HACO can train agents to drive in unseen traffic scenarios with a handful of human intervention budget and achieve high safety and generalizability, outperforming both reinforcement learning and imitation learning baselines with a large margin. Code and demo videos are available at: https://decisionforce.github.io/HACO/.

研究の動機と目的

• 安全な自律エージェントの訓練における人的介入予算の制限という課題に対処すること。
• 自律走行の強化学習におけるサンプル効率と訓練の安全性を向上させること。
• 密集した報酬設計への依存を軽減し、模倣学習における分布シフトを回避すること。
• エージェントが人間のトゥーキャップを最小限に抑えつつ安全な探索を最大化できるように、適応的自動化を実現すること。
• 未確認の走行シナリオに一般化可能なスケーラブルな人間を含むループフレームワークの開発すること。

提案手法

• HACOは、人間の介入を部分的デモのトリガーとして用い、エキスパートが危険な状況で安全な行動を示すように介入する。
• 人間-AI混合行動データからプロキシ価値関数を構築し、環境の報酬にアクセスせずにオフライン強化学習を可能にする。
• この手法は、プロキシ状態-行動価値を最大化するとともに、人間の介入頻度を最小化するようにエージェントを最適化する。
• 介入時の行動誤差を低減するため、コサイン類似度に基づくペナルティを導入し、エージェントの行動を人間の意図に一致させる。
• 介入が行われない際にはエージェントのポリシーにエントロピー正則化を適用し、安全な行動領域内で探索を促進する。
• 制約付き最適化フレームワークを採用することで、人間エキスパートへの過度な依存を防ぎ、トゥーキャップ頻度を低下させ、人的リソースの効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 人間を含むループ学習は、自律走行における訓練の安全性を確保しつつ、高いサンプル効率を達成できるか？
• RQ2 ポリシー性能や安全性を損なわずに、人的介入をどのように最小化できるか？
• RQ3 部分的デモから導出されたプロキシ価値関数は、環境報酬が存在しない状況でも、ポリシー学習を効果的に導けるか？
• RQ4 標準的なRLおよびIL手法と比較して、HACOは未確認の走行環境にどのように一般化するか？
• RQ5 介入タイミングと行動の整合性が、最終的なポリシー性能にどの程度影響を及えるか？

主な発見

• MetaDriveでは、HACOがたった8,000サンプルの訓練でテストリターン349.25 ± 11.45を達成し、PPO（1591.00）およびILベースラインを大きく上回った。
• CARLA Town 2では、HACOが8,000サンプルで83% ± 4%のテスト成功率を達成したが、PPOは同等の成功率を得るためには500,000サンプルを必要とした。
• HACOはテスト時の安全違反を11.84件に抑えたのに対し、PPOは80.84件にのぼり、優れた安全性を示した。
• アブレーションスタディの結果、介入の最小化を除去した場合、エージェントが人間のトゥーキャップに過度に依存した結果、成功率が0%に低下した。
• 介入コストにコサイン類似度を用いることで、誤差が低減し、テストリターンが23.23から349.25に向上した。
• HACOは、CARLAで新しいCNN特徴抽出器を用いてわずか10分間でドライブエージェントを訓練した。これはその効率性を示している。