[論文レビュー] OIL: Observational Imitation Learning

Guohao Li, Matthias Mueller+4 more|arXiv (Cornell University)|Mar 3, 2018

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文では、複数の不完全な教師の行動を観察することで制御方策を学習する、新規の模倣学習フレームワークである観察的模倣学習（OIL）を提案する。OILは、オンラインの報酬ベース評価を用いて、最高の行動のみを段階的に更新する。OILは、自律走行およびUAVレースのシミュレーションにおいて、個々の教師、従来のILおよびRLベースライン、さらには人間の専門家をも上回る性能を発揮する。これは、モジュール型の認識制御アーキテクチャとオンラインの軌道選択を活用することで達成された。

ABSTRACT

Recent work has explored the problem of autonomous navigation by imitating a teacher and learning an end-to-end policy, which directly predicts controls from raw images. However, these approaches tend to be sensitive to mistakes by the teacher and do not scale well to other environments or vehicles. To this end, we propose Observational Imitation Learning (OIL), a novel imitation learning variant that supports online training and automatic selection of optimal behavior by observing multiple imperfect teachers. We apply our proposed methodology to the challenging problems of autonomous driving and UAV racing. For both tasks, we utilize the Sim4CV simulator that enables the generation of large amounts of synthetic training data and also allows for online learning and evaluation. We train a perception network to predict waypoints from raw image data and use OIL to train another network to predict controls from these waypoints. Extensive experiments demonstrate that our trained network outperforms its teachers, conventional imitation learning (IL) and reinforcement learning (RL) baselines and even humans in simulation. The project website is available at https://sites.google.com/kaust.edu.sa/oil/ and a video at https://youtu.be/_rhq8a0qgeg

研究の動機と目的

• 高品質な専門家データに依存し、教師の誤りに敏感な従来の模倣学習の限界を解消すること。
• 不完全または多様な教師を伴う複雑なナビゲーションタスクにおいて、既存のILおよびRL手法のスケーラビリティとロバストネスの問題を克服すること。
• 人間によるアノテーション付きデモンストレーションを一切使用せず、教師の軌道のみを用いて、生の画像観測から制御方策をエンドツーエンドで学習可能にすること。
• 認識（ウェイポイント予測）と制御（アクション予測）を分離するモジュラーなアーキテクチャを構築し、環境間での適応性を向上させること。
• 訓練中にオンラインで報酬ベースの最適行動選択を実施することで、教師や人間の専門家を上回る優れた性能を達成すること。

提案手法

• 教師の軌道からの模倣学習を用いて、生の画像入力を用いてウェイポイントを予測する認識ネットワークを訓練する。
• 予測されたウェイポイントと車両状態を入力として、制御アクション（例：スロットル、ステアリング、エアリアルン）を出力する制御ネットワークを用いる。
• 各状態で教師の行動をオンライン報酬評価によりスコア付けし、性能の高い行動のみを方策更新に使用する。
• 複数の教師から得た最良のアクションを集約する微分可能でオンラインな最適化により、制御方策を訓練する。劣悪な行動は破棄される。
• 車両およびUAVレースの多様な環境で高精度かつリアルタイムの訓練と評価が可能なSim4CVシミュレータを活用する。
• 環境の報酬を用いて、どの教師の軌道を方策更新に使用するかを決定する基準として、強化学習の概念を模倣学習に統合する。

実験結果

リサーチクエスチョン

• RQ1 複数の不完全な教師の最良の行動から選択的に学習することで、教師をすべて上回る方策を訓練できるか？
• RQ2 オンラインで報酬ベースの軌道選択は、標準的な行動クラーニングやDAGGERと比較して、模倣学習の一般化性とロバストネスをどのように向上させるか？
• RQ3 認識ネットワークや制御ネットワークの再訓練なしに、OILは異なる環境や車両動力学にどの程度一般化できるか？
• RQ4 OILは自律走行やUAVレースのような複雑なナビゲーションタスクにおいて、人間の専門家を上回る性能を達成できるか？
• RQ5 軌道長さと教師数が、学習済み方策の安定性と性能に与える影響はどの程度か？

主な発見

• OILは、自律走行およびUAVレースの両タスクにおいて、すべての個々の教師を上回り、道路中央からの平均誤差が17.6メートル、1ラップ平均所要時間が80.7秒を記録した。
• 300ステップの軌道を用いて5人の教師で訓練した場合、OILは平均17.6メートルの誤差と80.7秒のラップタイムを達成し、最良の教師（15.3メートル誤差、80.5秒）を速度面で上回りながらも、より低い誤差を維持した。
• 3人の教師（1号、3号、4号）で300ステップの軌道を用いて訓練したOILは、平均25.8メートルの誤差を示した。これにより、教師数の増加がロバストネスの向上と誤差の低減に寄与することが明らかになった。
• OILはUAVレースの全ゲートを通過し、人間の専門家を3.83秒の速さで上回り、中央線誤差を専門家の35.91％まで低減した。
• 本手法は、異なる軌道長さや教師数に対してもロバストであり、300ステップの軌道と5人の教師で最適な性能が得られた。
• OILは、DDPGや行動クラーニングを含む最先端のILおよびRLベースラインを上回り、シミュレーションにおいて経験豊富な人間パイロットと同等またはそれ以上の性能を達成した。