[論文レビュー] Learning by Cheating

Dian Chen, Brady Zhou+2 more|arXiv (Cornell University)|Dec 27, 2019

Advanced Neural Network Applications参考文献 28被引用数 4

ひとこと要約

本論文は、視覚ベースの自動運転のための2段階の模倣学習フレームワークを提案する。まず、真値の環境状態にアクセスできる「抜け道」的な特権エージェントが、専門家の軌道を模倣して制御方策を学習し、その後、視覚ベースのセンサーモーターエージェントを訓練する教師として機能する。この手法は、CARLAベンチマークの全タスクで100%の成功率を達成し、先行研究と比較して交通違反の頻度を1桁低減した。

ABSTRACT

Vision-based urban driving is hard. The autonomous system needs to learn to perceive the world and act in it. We show that this challenging learning problem can be simplified by decomposing it into two stages. We first train an agent that has access to privileged information. This privileged agent cheats by observing the ground-truth layout of the environment and the positions of all traffic participants. In the second stage, the privileged agent acts as a teacher that trains a purely vision-based sensorimotor agent. The resulting sensorimotor agent does not have access to any privileged information and does not cheat. This two-stage training procedure is counter-intuitive at first, but has a number of important advantages that we analyze and empirically demonstrate. We use the presented approach to train a vision-based autonomous driving system that substantially outperforms the state of the art on the CARLA benchmark and the recent NoCrash benchmark. Our approach achieves, for the first time, 100% success rate on all tasks in the original CARLA benchmark, sets a new record on the NoCrash benchmark, and reduces the frequency of infractions by an order of magnitude compared to the prior state of the art. For the video that summarizes this work, see https://youtu.be/u9ZCxxD-UUw

研究の動機と目的

• 専門家の軌道から視覚ベースのドライブポリシーへの直接的な模倣学習の難しさに対処すること。
• 認識と制御の学習を分離することで、視覚ベースの自動運転におけるサンプル効率性と一般化性能を向上させること。
• オンポリシー、マルチブランチ、ホワイトボックス監視を提供する特権的な教師を通じて、センサーモーター・エージェントに対する強力な監視を可能にすること。
• 推論時に特権情報に依存しない標準ベンチマークで最先端の性能を達成すること。
• シミュレーションベースの特権的訓練が、実世界への展開に耐えうる強固で転送可能な視覚ベースのポリシーをもたらすことを示すこと。

提案手法

• 真値の環境状態（例：上空ビュー）と専門家の軌道を用いて、特権エージェントを訓練し、強固な制御方策を学習する。
• 特権エージェントを教師として、視覚ベースのセンサーモーター・エージェントの訓練中に高容量のオンポリシー監視を提供する。
• 各状態で可能なすべてのコマンド（例：左折、右折）に対して特権エージェントの行動を照会することでホワイトボックス監視を実装し、マルチブランチ訓練を可能にする。
• オンライン DAgger スタイルのロールアウトを適用し、センサーモーター・エージェントのロールアウトを活用して、適応的な監視を得るために特権教師を積極的に照会する。
• 特権エージェントの中間表現（上空ビュー）に基づいたデータ拡張を実装し、一般化性能を向上させる。
• マルチブランチ監視を用いたオフポリシーの模倣学習により、センサーモーター・エージェントを訓練し、行動出力の相関をより良く分離できるようにする。

実験結果

リサーチクエスチョン

• RQ1 特権的「抜け道」エージェントを用いた2段階の模倣学習アプローチが、視覚ベースの自動運転における性能を顕著に向上させることができるか？
• RQ2 特権教師から得られるマルチブランチ、オンポリシー、ホワイトボックス監視が、直接的な模倣学習と比較して、サンプル効率性と一般化性能を向上させるか？
• RQ3 この手法が、推論時に特権情報に依存しない標準ベンチマーク（例：CARLA や NoCrash）で最先端の性能を達成できるか？
• RQ4 特権的訓練とシミュレーションから実世界への転送の組み合わせが、視覚ベースのエージェントの実世界への強固な展開をどのように可能にするか？
• RQ5 特権教師が多様で適応的な監視を生成できる能力が、交通違反の頻度をどれほど低減し、安全指標を向上させるか？

主な発見

• 提案手法は、オリジナルの CARLA ベンチマークの全タスクで100%の成功率を達成し、新しい町や天候条件を含む完全一般化設定でも同様に成功した。
• NoCrash ベンチマークでは、新記録を樹立し、全条件で85%以上の成功率を達成し、混雑な交通状況では最先端性能を18ポイント上回った。
• 交通違反（信号無視や衝突など）の頻度は、先行する最先端手法（CILRS モデルを含む）と比較して、最低でも1桁低減された。
• 違反分析の結果、ほとんどの条件下で10kmあたりの違反数が5件未満にまで低下し、Town 1 では3.1件、Town 1 に新しい天候条件を適用した場合では3.2件の違反にまで減少した。
• ホワイトボックスでのマルチブランチ監視と訓練中のオンラインロールアウトの組み合わせが、最も優れた性能を発揮し、全条件下で100%の成功率を達成した。
• 特権情報が訓練段階で使用されても、最終的な視覚ベースのポリシーの実世界への適用性が損なわれないことが示された。標準的なシミュレーションから実世界への転送技術を用いることで、その適用が可能である。