[論文レビュー] Vision-Based Autonomous Car Racing Using Deep Imitative Reinforcement Learning

Peide Cai, Hengli Wang+3 more|arXiv (Cornell University)|Jul 18, 2021

Reinforcement Learning in Robotics参考文献 28被引用数 6

ひとこと要約

本論文は、自律走行車両レースのためのエンドツーエンドのビジュアル制御ポリシーを学習するために、模倣学習（IL）とモデルベース強化学習（RL）を統合する統一フレームワークであるDeep Imitative Reinforcement Learning（DIRL）を提案する。不確実性を考慮した世界モデル（Reveries-net）を活用して想起された相互作用をシミュレートすることで、純粋なILやRLのベースラインに比べて優れたデータ効率と性能を達成し、模倣学習や強化学習の両方を凌駝始める。シミュレーションおよび1/20スケールのRCカー走行の実世界でも、熟練者の干渉を最小限に抑えて優れた性能を発揮する。

ABSTRACT

Autonomous car racing is a challenging task in the robotic control area. Traditional modular methods require accurate mapping, localization and planning, which makes them computationally inefficient and sensitive to environmental changes. Recently, deep-learning-based end-to-end systems have shown promising results for autonomous driving/racing. However, they are commonly implemented by supervised imitation learning (IL), which suffers from the distribution mismatch problem, or by reinforcement learning (RL), which requires a huge amount of risky interaction data. In this work, we present a general deep imitative reinforcement learning approach (DIRL), which successfully achieves agile autonomous racing using visual inputs. The driving knowledge is acquired from both IL and model-based RL, where the agent can learn from human teachers as well as perform self-improvement by safely interacting with an offline world model. We validate our algorithm both in a high-fidelity driving simulation and on a real-world 1/20-scale RC-car with limited onboard computation. The evaluation results demonstrate that our method outperforms previous IL and RL methods in terms of sample efficiency and task performance. Demonstration videos are available at https://caipeide.github.io/autorace-dirl/

研究の動機と目的

• 従来のモジュラーかつエンドツーエンドのディープラーニング手法が自律走行車両レースにおいて抱える課題、特にILにおける分布シフトとRLにおけるデータ非効率性を解消すること。
• ILのデータ効率性とモデルベースRLの自己改善能力を統合した統一学習フレームワークを構築すること。
• オフラインの世界モデルを用いて安全かつ効率的なポリシー学習を可能にし、実世界での相互作用や熟練者の干渉を最小限に抑えること。
• 限られたオンボード計算能力のもとで、高精細シミュレーションおよび実世界の1/20スケールRCカー走行において、手法の有効性を検証すること。

提案手法

• 視覚入力からアクションに依存する確率的で不確実性を考慮した世界モデルを学習するため、証拠に基づく不確実性推定を備えた再帰的ニューラルネットワーク（Reveries-net）を提案する。
• 熟練者のデモンストレーションデータを用いてILを適用し、強力な初期ポリシーを提供する。
• モデルベースRLを用いて、学習済みの世界モデル内で将来の軌道をシミュレートすることで、実世界での相互作用なしに安全に自己改善するポリシーを精緻化する。
• ポリシー学習中に不確実性推定を正則化信号として統合し、耐障害性と安全性を向上させる。
• 閉ループの再計画戦略を採用し、リアルタイムの観測と予測結果に基づいて、各タイムステップでアクションを再評価する。
• ポリシーをオフラインの世界モデル内でのみ学習させることで、実世界でのロールアウト依存を低減し、データ効率的な学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 ILとモデルベースRLを統合した統一フレームワークは、単独のILやRLに比べ、自律走行レースにおいてより高いデータ効率とタスクパフォーマンスを達成できるか？
• RQ2 不確実性を考慮した世界モデリングは、オフライン学習中のポリシーの安全性と耐障害性をどのように向上させるか？
• RQ3 シミュレートされた世界モデル内で学習したポリシーは、最小限の実世界ファインチューニングで実世界のRCカー走行にどの程度一般化できるか？
• RQ4 人間のデモンストレーションと想起された相互作用の統合は、収束速度の向上と熟練者の干渉の削減にどの程度寄与するか？

主な発見

• シミュレーションにおいて、DIRLは先行手法に比べ1.8～8.4倍の高いデータ効率を達成し、熟練者のデモンストレーションや実世界でのロールアウトに必要な数を顕著に削減した。
• DIRL(3 iter)は、簡単なタスクでは1.33回、難しいタスクでは4.33回の干渉で済ませ、従来のバージョンを上回り、熟練者の補正依存を大幅に低減した。
• 不確実性推定を除外した場合（DIRL(-unc)）は、困難なタスクで154.5秒と32.67回の干渉を記録し、性能が著しく低下した。これは、不確実性推定がポリシーの安全性にとって不可欠であることを示している。
• Reveries-netで学習したポリシーは、実世界のRCカー走行においても良好に一般化し、複雑な障害物や急なカーブを素早くかつ安全に走破する能力を示した。
• 可視化結果から、Reveries-netは将来の状態を正確に予測しており、衝突点付近では高い不確実性を示しており、リスク推定における信頼性を裏付けた。
• 強力なパフォーマンスを発揮しているものの、困難なタスクにおいて人間のレーサーに約10秒遅れを記録しており、ポリシー構造や世界モデルの忠実度の向上の余地が残っている。