[論文レビュー] Multi-Vehicle Mixed-Reality Reinforcement Learning for Autonomous Multi-Lane Driving

Rupert Mitchell, Jenny Fletcher+2 more|arXiv (Cornell University)|Nov 26, 2019

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文は、実世界でのポリシー適応と仮想車両との相互作用を組み合わせることで、複数車両・複数レーン環境における自律走行ポリシーの安全で効率的な学習を可能にするミックスドリアリティ強化学習フレームワークを提示する。実車にエージェントをデプロイしながら仮想ドメインで衝突をシミュレートすることで、数回のミックスドリアリティ実行後には衝突が80%以上削減された。これは、複数エージェント向け自律走行における有効な sim2real 移行を示している。

ABSTRACT

Autonomous driving promises to transform road transport. Multi-vehicle and multi-lane scenarios, however, present unique challenges due to constrained navigation and unpredictable vehicle interactions. Learning-based methods---such as deep reinforcement learning---are emerging as a promising approach to automatically design intelligent driving policies that can cope with these challenges. Yet, the process of safely learning multi-vehicle driving behaviours is hard: while collisions---and their near-avoidance---are essential to the learning process, directly executing immature policies on autonomous vehicles raises considerable safety concerns. In this article, we present a safe and efficient framework that enables the learning of driving policies for autonomous vehicles operating in a shared workspace, where the absence of collisions cannot be guaranteed. Key to our learning procedure is a sim2real approach that uses real-world online policy adaptation in a mixed-reality setup, where other vehicles and static obstacles exist in the virtual domain. This allows us to perform safe learning by simulating (and learning from) collisions between the learning agent(s) and other objects in virtual reality. Our results demonstrate that, after only a few runs in mixed-reality, collisions are significantly reduced.

研究の動機と目的

• 複数車両・複数レーン環境において学習中に衝突が頻発する中で、自律走行ポリシーの安全性を高める課題に対処すること。
• ミックスドリアリティ環境を用いて、実世界でのデプロイを衝突を伴う学習から分離させることで、安全なポリシー学習を可能にすること。
• 実ハードウェアを用いてオンラインポリシー適応を実施するとともに、他の車両や障害物との相互作用をシミュレートすることで、自律走行用強化学習におけるリアリティギャップを埋めること。
• エンドツーエンド走行ポリシーが、ミックスドリアリティ環境における最小限の実世界相互作用を通じて、効果的に学習および改善可能であることを示すこと。
• 物理的損傷のリスクを伴わせずに、共有の交通空間における複数の自律エージェントのスケーラブルで安全な学習フレームワークを提供すること。

提案手法

• 本フレームワークは、ミックスドリアリティに特化した分散強化学習アーキテクチャを採用しており、1台の実 DeepRacer エージェントが物理的なトラックで学習を行い、16台の仮想車両および静的障害物がシミュレートされる。
• 仮想車両は標準的な交通モデル（IDM および MOBIL）を用いてモデル化され、現実的で動的な相互作用が再現される。
• 実車両のポリシーは、シミュレーション内での仮想エージェントおよび障害物との相互作用から収集した経験を用いて、リアルタイムでオンラインで更新される。
• 衝突は仮想ドメインでシミュレートされるため、エージェントは物理的リスクを伴わず、準衝突状況や失敗から学習できる。
• 本システムは、実車両の動的特性とセンサーフィードバックを活用してポリシーを適応させる sim2real の手法を採用しており、リアリティギャップを最小限に抑える。
• 本手法は、サンプル効率を向上させるために、オフポリシー手法を用いたモデルフリーの深層強化学習を採用し、連続的アクション空間で学習される。

実験結果

リサーチクエスチョン

• RQ1 物理的損傷を伴わない複数車両の自律走行ポリシー学習に適した安全で効率的な強化学習フレームワークを開発可能か？
• RQ2 シミュレーションのみまたは実世界のみでの学習と比較して、ミックスドリアリティ強化学習は衝突削減およびポリシー性能向上にどの程度有効か？
• RQ3 ミックスドリアリティ環境における実世界でのオンラインポリシー適応は、自律走行ポリシー学習におけるリアリティギャップをどの程度縮小できるか？
• RQ4 実ハードウェア（例：DeepRacer）の動的特性は、より速く反応性の高い仮想エージェントと相互作用する際、ポリシー学習にどのように影響を与えるか？
• RQ5 1台の実車両が、共有の複数レーン環境における仮想交通と相互作用することで、頑健で衝突回避可能な行動を学習可能か？

主な発見

• ミックスドリアリティ環境での数回の実行後、衝突数が顕著に減少し、衝突密度分布が著しく左にシフトした。
• トレーニング後の衝突分布は平均値が低くなるだけでなく、分布の幅も狭くなったため、分散が低く、ポリシーの一貫性が向上した。
• テスト段階で学習済みポリシーはより高い累積報酬を達成しており、強化学習プロセスが性能向上を的確に実現したことを確認した。
• 定性的な結果から、実車両はミックスドリアリティトレーニング後、頻繁な衝突から準衝突回避行動に移行したことが示され、効果的な行動適応が確認された。
• 実車両の遅い反応時間は、より慎重な行動を促進し、衝突リスクを低減したが、同時に交通の混雑を引き起こす要因となった。これは、安全性とスループットのトレードオフを示している。
• シミュレーションで高エントロピーのポリシーを用いることで、エージェントは実世界のミックスドリアリティ環境への一般化が向上し、過学習を回避しながら迅速な適応が可能になった。