[論文レビュー] Formula RL: Deep Reinforcement Learning for Autonomous Racing using Telemetry Data

Adrian Remonda, Sarah Krebs+3 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文では、視覚入力に依存せずに、車両のテレメトリーデータ（速度、加速度、ステアリングなど）のみを用いて自律走行エージェントを訓練する、深層強化学習フレームワーク「Formula RL」を提案する。改良されたDDPGアルゴリズムに、前方カーブ予測（LAC）や改善された経験再生を組み合わせることで、モデルはオープンソースの手作業で設計されたボットを上回り、未確認のサーキットにも一般化可能であり、リアルタイムでレーシングラインを最適化することで、より速いラップタイムを達成する。

ABSTRACT

This paper explores the use of reinforcement learning (RL) models for autonomous racing. In contrast to passenger cars, where safety is the top priority, a racing car aims to minimize the lap-time. We frame the problem as a reinforcement learning task with a multidimensional input consisting of the vehicle telemetry, and a continuous action space. To find out which RL methods better solve the problem and whether the obtained models generalize to driving on unknown tracks, we put 10 variants of deep deterministic policy gradient (DDPG) to race in two experiments: i)~studying how RL methods learn to drive a racing car and ii)~studying how the learning scenario influences the capability of the models to generalize. Our studies show that models trained with RL are not only able to drive faster than the baseline open source handcrafted bots but also generalize to unknown tracks.

研究の動機と目的

• 強化学習を用いて、視覚入力に依存せずに、車両のテレメトリーデータのみを用いて自律走行エージェントを効果的に訓練できるかを調査すること。
• 複雑なレーシングサーキットにおいてラップタイムを最小化するという観点で、どの深層強化学習アルゴリズムおよびアーキテクチャの変更が最良のパフォーマンスをもたらすかを評価すること。
• 実世界のドライバーの準備に類似するように、未確認のレーシングサーキットに展開された訓練済みの強化学習モデルの一般化能力を評価すること。
• LACを介してトラックのカーブ情報を取り込むことで、モデルのパフォーマンスと学習効率にどのような影響を与えるかを調査すること。
• 固定された軌道に従うのではなく、エージェントが自律的かつ最適化されたレーシングラインを発見できるフレームワークを構築すること。

提案手法

• フレームワークは、連続的アクション空間（ステアリング、スロットル、ブレーキ）に適応した、深層決定的方策勾配（DDPG）をコアとなる強化学習アルゴリズムとして採用する。
• 過去のラップのテレメトリーデータから計算される、新規の前方カーブ予測（LAC）特徴量を導入し、将来のトラック形状の予測情報を提供することで、一般化性能と意思決定能力を向上させる。
• 優先順位付き経験再生（PER）と100万件のバッファサイズ（PER1M）を備えた、改良された経験再生バッファを採用し、学習の安定性とデータ効率を向上させる。
• スパarsな報酬環境におけるエピソード終了遷移に対処するため、独自の終了メカニズムを実装する。
• 連続的制御におけるスロットルとブレーキの同時適用を回避するため、相互排他的な制御スキームを用いてアクション空間を制約する。
• シミュレーション環境（TORCS）は、1000Hzという高周波数のテレメトリーデータを生成し、高精度な物理ベースの訓練と評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 視覚入力に依存せず、車両のテレメトリーデータのみを用いて、高性能な自律走行エージェントを訓練することは可能か？
• RQ2 RQ2: あるサーキットで訓練されたRLモデルは、未確認のレーシングサーキットにどの程度一般化できるか？
• RQ3 RQ3: ラップタイムと一般化性能という観点で、どのDDPGバリアントおよびハイパーパramータ設定が最良のパフォーマンスをもたらすか？
• RQ4 RQ4: 前方カーブ予測（LAC）を組み込むことで、モデルのパフォーマンスと学習安定性が向上するか？
• RQ5 RQ5: RLエージェントは、事前に定義された軌道に従うのではなく、優れたレーシングラインを自律的に発見・最適化できるか？

主な発見

• PER1Mアルゴリズムで訓練されたモデルは、複雑なサーキットにおいて最良のパフォーマンスを示し、ベースラインのオープンソース手作業ボットと比較して、顕著にラップタイムを短縮した。
• 前方カーブ予測（LAC）特徴量は、予測可能なトラックジオメトリを提供することで、モデルのパフォーマンスを向上させ、近い将来のコーナーでの意思決定能力を強化した。
• オーロルバーグサーキットで訓練されたRLエージェントは、未確認のサーキット（例：ミシガン、フォルツァ）に対してもある程度一般化可能であったが、訓練済みサーキットでのパフォーマンスよりは低かった。
• 最良のパフォーマンスを示したモデルは、固定された経路に従うのではなく、新たな最適化されたレーシングラインを発見することで、手作業ボットを上回った。
• 結果から、一般化は可能であるが、複雑なサーキットで訓練されたモデルは、特定のサーキットにおけるさらなるファインチューニングを経ることでさらに性能向上が見込まれる。これは、人間ドライバーの行動に類似している。
• 本研究は、テレメトリーベースの深層強化学習が、自律走行の分野において実用的かつ効果的な手法であることを示しており、物理的ダイナミクスのみから最適なドライブ戦略を学習可能であることを裏付けている。