[論文レビュー] FastRLAP: A System for Learning High-Speed Driving via Deep RL and Autonomous Practicing

Kyle Stachowicz, Dhruv Shah+3 more|arXiv (Cornell University)|Apr 19, 2023

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

FastRLAP は、深層強化学習（RL）と現実世界における自己訓練を用いて、視覚的観測から小型RCカーが高周速走行を自律学習可能にするシステムである。本システムは、多様な事前学習済みナビゲーションデータからの事前学習表現と、1回の低速走行デモを活用して、サンプル効率の高いオンラインRLをブートストラップし、人為的介入なしに20分未塔の現実世界での訓練でエキスパート水準のパフォーマンスを達成する。

ABSTRACT

We present a system that enables an autonomous small-scale RC car to drive aggressively from visual observations using reinforcement learning (RL). Our system, FastRLAP (faster lap), trains autonomously in the real world, without human interventions, and without requiring any simulation or expert demonstrations. Our system integrates a number of important components to make this possible: we initialize the representations for the RL policy and value function from a large prior dataset of other robots navigating in other environments (at low speed), which provides a navigation-relevant representation. From here, a sample-efficient online RL method uses a single low-speed user-provided demonstration to determine the desired driving course, extracts a set of navigational checkpoints, and autonomously practices driving through these checkpoints, resetting automatically on collision or failure. Perhaps surprisingly, we find that with appropriate initialization and choice of algorithm, our system can learn to drive over a variety of racing courses with less than 20 minutes of online training. The resulting policies exhibit emergent aggressive driving skills, such as timing braking and acceleration around turns and avoiding areas which impede the robot's motion, approaching the performance of a human driver using a similar first-person interface over the course of training.

研究の動機と目的

• 人為的デモやシミュレーションを一切用いずに、視覚的観測から自律的かつ現実世界で高周速走行ポリシーを学習可能なシステムの開発。
• オンラインRLのサンプル非効率性と故障に弱い性質を克服し、自律的回復と継続的訓練を可能にする。
• 多様なロボットナビゲーションデータから得た事前学習表現が、攻撃的走行行動のための現実世界RLを効果的にブートストラップできるかを検証すること。
• 最小限の人的監視と現実世界でのオンライン相互作用から、ドリftや最適レーシングライン選択といった高パフォーマンス走行スキルが自己形成するかを実証すること。

提案手法

• 他のロボットや環境からの低速走行データを多数含む大規模で多様なデータセット上で、ポリシーと価値関数の表現を事前学習し、障害物や自由空間といった汎用的な視覚的特徴を捉える。
• 1回の低速人為デモを用いてナビゲーションのチェックポイントを抽出し、ターゲットコースを定義することで、ゴール条件付きRLポリシーをガイドする。
• 衝突や失敗後にロボットを自動でリセットする自律的訓練フレームワークを実装し、人為的介入なしに継続的なオンライン学習を可能にする。
• 事前学習表現を活用して、ターゲット環境に迅速に適応し、複数ラップにわたってパフォーマンスを向上させる、サンプル効率の高いオンラインRLアルゴリズムを適用する。
• 視覚的観測に基づいて行動を評価するためのクリティックネットワークを導入し、障害物を避ける経路や最適な軌道を維持する行動に高い値を割り当てる。
• リアルタイムで次へのチェックポイントまでのベクトルを提供する状態推定器を統合し、訓練中のゴール条件付きナビゲーションを可能にする。

Figure 2 : FastRLAP learns fast driving policies for a 1/10 ${}^{\text{th}}$ -scale vehicle operating in diverse indoor and outdoor environments with challenging terrains in tens of minutes, using a combination of offline pre-training and online reinforcement learning.

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのRLポリシーは、人為的デモやシミュレーションなしに、現実世界で高周速走行行動を自律的に学習できるか？
• RQ2 多様なロボットナビゲーションデータから得た事前学習表現は、攻撃的走行のための現実世界オンラインRLにおけるサンプル効率をどの程度向上できるか？
• RQ3 衝突や失敗からの自律的回復が可能であれば、人為的介入なしに継続的かつ途切れのない学習が現実世界RLで可能になるか？
• RQ4 ドリftや最適レーシングライン選択といった自己形成的走行行動は、最小限の人的監視とオンラインRLによって、現実世界の設定で出現するか？

主な発見

• FastRLAP は、人為的介入なしに20分未塔の現実世界オンライン学習を経て、類似したファーストパーソンインターフェースを使用する人間エキスパートドライバーのパフォーマンスの40％以内に到達する。
• 低速データと1回の遅いデモで初期化されたにもかかわらず、ターンでのブレーキ・アクセルのタイミング、ドリフト、高速走行可能な地形の選択といった攻撃的走行行動を学習する。
• クリティックネットワークは、視覚的キュー（例：障害物、開放路）と行動価値の間に有意義な相関関係を示しており、ポリシーが環境を推論していることが示唆される。
• アブレーションスタディにより、タスク関連の事前学習が成功に不可欠であることが確認され、視覚ベース制御における下流RLの強力な基盤としての事前学習表現の役割が裏付けられる。
• システムは衝突から自律的回復し、人為的介入なしに継続的に訓練を継続する。これにより、現実世界での継続的学習が可能になる。
• 最小限のオンラインデータで高いパフォーマンスを達成したため、適切な事前学習と自律的回復メカニズムを組み合わせることで、深層RLが現実世界のポリシー学習に実用的である可能性が示された。

Figure 3 : High-speed visual navigation faces challenges due to sensing, perception, and dynamics: (a) noisy odometry and localization errors across multiple laps, (b) overexposure and motion blur in the visual observations, and (c) over-/under-steer due to complex dynamics.