[論文レビュー] Learning to Drive Small Scale Cars from Scratch.

Ari Viitala, Rinu Boney+1 more|arXiv (Cornell University)|Aug 3, 2020

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文では、スパースな報酬を用いた強化学習を用いて、小型自動走行車をレーストラックを走行させる手法を提案する。ソフトアクターシステム（SAC）と変分オートエンコーダー（VAE）を用いた状態表現学習を活用し、エンドツーエンドの訓練をスクラッチから実行可能にし、シミュレーションおよび実際のトラックで10分間の実世界経験で、頑健な走行性能を達成した。

ABSTRACT

We consider the problem of learning to drive low-cost small scale cars using reinforcement learning. It is challenging to handle the long-tailed distributions of events in the real-world with handcrafted logical rules and reinforcement learning could be a potentially more scalable solution to deal with them. We adopt an existing platform called Donkey car for low-cost repeatable and reproducible research in autonomous driving. We consider the task of learning to drive around a track, given only monocular image observations from an on-board camera. We demonstrate that the soft actor-critic algorithm combined with state representation learning using a variational autoencoder can learn to drive around randomly generated tracks on the Donkey car simulator and a real-world track using the Donkey car platform. Our agent can learn from scratch using sparse and noisy rewards within just 10 minutes of driving experience.

研究の動機と目的

• 手動で設計されたルールに代わって強化学習を用いることで、小型車両向けにスケーラブルで低コストな自律走行ソリューションを開発すること。
• 現実世界の走行イベントの長尾分布に起因する課題をデータ駆動型学習で解決すること。
• スパースでノイズの多い報酬と、生の単眼画像観測からのエンドツーエンド訓練を可能にすること。
• シミュレーションにおけるランダムに生成されたトラックおよびDonkeyカー・プラットフォーム上での実世界デプロイメントにおいて、一般化性能を示すこと。
• わずか10分間の走行経験で、高い性能を達成すること。

提案手法

• 低コストで再現性のある自律走行実験のため、Donkeyカー・プラットフォームを採用する。
• ポリシー学習の唯一の入力として、単眼画像観測を用いる。
• スパースな報酬条件下でもサンプル効率の高い強化学習を実現するため、ソフトアクターシステム（SAC）アルゴリズムを適用する。
• 生の視覚入力からコンパクトで意味のある状態表現を学習するために、変分オートエンコーダー（VAE）を統合する。
• 模倣学習やカリキュラム学習を一切用いずに、スクラッチからエンドツーエンドでエージェントを訓練する。
• 走行距離やトラック完了度といった、ゴールへの進行度に基づいた報酬形状戦略を用いる。

実験結果

リサーチクエスチョン

• RQ1 スパースな報酬と生の視覚観測からのみで、模倣学習なしに強化学習エージェントが小型車両を走行させることができるか？
• RQ2 SACとVAEの組み合わせは、低コストな自律走行において状態表現学習にどの程度有効か？
• RQ3 エージェントは、シミュレーション上でのランダムに生成されたトラックおよび実世界環境において一般化できるか？
• RQ4 わずか10分間の実世界訓練経験で、どの程度の性能が達成できるか？
• RQ5 スパースな報酬は学習を妨げる要因となり得るが、この手法はその制限を克服できるか？

主な発見

• エージェントは、単眼画像入力とスパースな報酬のみを用いて、Donkeyカー・シミュレータ上でのランダムに生成されたトラックを走行する能力を習得した。
• この手法は、シミュレーションから物理的デプロイメントへの転送性を示し、実世界のトラックにも一般化可能であることを実証した。
• わずか10分間の実世界訓練経験で、安定的かつ一貫性のある走行性能を達成した。
• 状態表現学習にVAEを統合することで、サンプル効率とポリシーの一般化性能が向上した。
• ソフトアクターシステムアルゴリズムにより、スパース報酬条件下でも安定した訓練が可能となり、単純なベースラインを上回った。
• 手動で設計されたルールや複雑な報酬設計の必要性がなくなり、スケーラブルなデプロイメントが可能になった。