[論文レビュー] Teaching UAVs to Race Using Sim4CV

Matthias Müller, Vincent Casser+3 more|arXiv (Cornell University)|Aug 19, 2017

Robotic Path Planning Algorithms参考文献 31被引用数 3

ひとこと要約

本論文では、写真のようにリアルなシミュレーション（Sim4CV）を用いた示範学習を用いて、エンドツーエンドのUAVレース制御のための深層ニューラルネットワークを学習することを提案する。データ拡張を用いてナビゲーションエラーを是正し、最先端の手法を上回る性能を達成するとともに、組み込みハードウェア上でリアルタイム推論を可能にし、多数の人のパイロットを上回る頑健性と一貫性を示した。

ABSTRACT

Automating the navigation of unmanned aerial vehicles (UAVs) in diverse scenarios has gained much attention in recent years. However, teaching UAVs to fly in challenging environments remains an unsolved problem, mainly due to the lack of training data. In this paper, we train a deep neural network to predict UAV controls from raw image data for the task of autonomous UAV racing in a photo-realistic simulation. Training is done through imitation learning with data augmentation to allow for the correction of navigation mistakes. Extensive experiments demonstrate that our trained network (when sufficient data augmentation is used) outperforms state-of-the-art methods and flies more consistently than many human pilots. Additionally, we show that our optimized network architecture can run in real-time on embedded hardware, allowing for efficient on-board processing critical for real-world deployment. From a broader perspective, our results underline the importance of extensive data augmentation techniques to improve robustness in end-to-end learning setups.

研究の動機と目的

• 実世界の訓練データが不足しているため、複雑で動的な環境をナビゲートするUAVの訓練の課題に対処すること。
• 生の画像入力のみを用いてエンドツーエンドのポリシー学習により自律UAVレースを可能にすること。
• 示範学習中に広範なデータ拡張を実施することで、UAV制御の一般化性と頑健性を向上させること。
• 実世界のシナリオでの実用的デプロイメントに適した組み込みハードウェア上でリアルタイム推論を保証すること。

提案手法

• 生のRGB画像観測を直接UAV制御命令にマップする深層ニューラルネットワークを、示範学習を用いて学習する。
• 多様でスケーラブルな訓練データを生成するために、写真のようにリアルなシミュレーション環境（Sim4CV）を活用する。
• 訓練中にデータ拡張技術を適用し、ナビゲーションミスを是正し、ポリシーの頑健性を向上させる。
• 低遅延推論を可能にするために、ネットワークアーキテクチャを最適化し、組み込みシステムへのリアルタイムデプロイメントを実現する。
• 人間パイロットによる飛行データをエキスパートのデモンストレーションとして用い、示範学習プロセスを監視する。
• シミュレーション内でのポリシー性能を評価し、組み込みハードウェア上でのリアルタイム推論能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 写真のようにリアルなシミュレーションにおけるデータ拡張付きの示範学習は、最先端の手法と比較して、UAVが優れたレースパフォーマンスを達成できるか？
• RQ2 どの程度、データ拡張はエンドツーエンドのUAV制御ポリシーの頑健性と一貫性を向上させるか？
• RQ3 訓練されたポリシーは、搭載用デプロイメントに適した組み込みハードウェア上でリアルタイム推論を達成できるか？
• RQ4 学習されたポリシーのパフォーマンスは、一貫性と速度の観点で人間パイロットと比較してどの程度か？

主な発見

• 提案手法は、Sim4CVシミュレーション環境内での自律UAVレースにおいて、最先端の手法を上回る性能を示した。
• 十分なデータ拡張を施した場合、訓練されたポリシーは多くの人間パイロットよりも高い一貫性とパフォーマンスを示した。
• 最適化されたネットワークアーキテクチャにより、組み込みハードウェア上でリアルタイム推論が達成され、搭載用デプロイメントが可能になった。
• データ拡張は、訓練中にナビゲーションエラーを是正することで、ポリシーの頑健性を顕著に向上させた。
• 生の画像入力と示範学習を用いたエンドツーエンド学習は、UAVレースに対してスケーラブルで効果的な解決策を提供した。
• 結果から、データ拡張がエンドツーエンドのビジョンベース制御システムにおける一般化性向上に果たす重要な役割が浮き彫りになった。