[論文レビュー] How hard is it to cross the room? -- Training (Recurrent) Neural Networks to steer a UAV

Klaas Kelchtermans, Tinne Tuytelaars|Lirias (KU Leuven)|Feb 24, 2017

Advanced Vision and Imaging参考文献 3被引用数 30

ひとこと要約

本稿では、模擬的な屋内環境における障害物回避および部屋の移動を目的とした無人航空機（UAV）の操縦を、模倣学習を用いて再帰的ニューラルネットワーク（特にLSTM）で学習する手法を提案する。ウィンドウ単位の切り捨てられた時間に沿った誤差逆伝播（WW-TBPTT）と事前学習済みの畳み込みニューラルネットワーク（CNN）のファインチューニングを用いることで、エンドツーエンド学習に比べてデータ効率が良く、収束が速く、より安定した制御が達成された。これは、記憶とトランスファー学習が順序付きの視覚ナビゲーションタスクにおいて顕著な性能向上をもたらすことを示している。

ABSTRACT

This work explores the feasibility of steering a drone with a (recurrent) neural network, based on input from a forward looking camera, in the context of a high-level navigation task. We set up a generic framework for training a network to perform navigation tasks based on imitation learning. It can be applied to both aerial and land vehicles. As a proof of concept we apply it to a UAV (Unmanned Aerial Vehicle) in a simulated environment, learning to cross a room containing a number of obstacles. So far only feedforward neural networks (FNNs) have been used to train UAV control. To cope with more complex tasks, we propose the use of recurrent neural networks (RNN) instead and successfully train an LSTM (Long-Short Term Memory) network for controlling UAVs. Vision based control is a sequential prediction problem, known for its highly correlated input data. The correlation makes training a network hard, especially an RNN. To overcome this issue, we investigate an alternative sampling method during training, namely window-wise truncated backpropagation through time (WW-TBPTT). Further, end-to-end training requires a lot of data which often is not available. Therefore, we compare the performance of retraining only the Fully Connected (FC) and LSTM control layers with networks which are trained end-to-end. Performing the relatively simple task of crossing a room already reveals important guidelines and good practices for training neural control networks. Different visualizations help to explain the behavior learned.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）を用いたエンドツーエンドの視覚ナビゲーションがUAVに適用可能かどうかを検討すること。
• 前方を向いたカメラから得られる高相関な順序付き視覚データに対するRNNの学習における課題を解決すること。
• 自動エキスパートを用いた模倣学習の有効性を、回復軌道の生成とともに評価すること。
• データ効率性と性能の観点から、エンドツーエンド学習と事前学習済みネットワークのファインチューニングを比較すること。
• 視覚入力を用いた自律UAVナビゲーションのための深層ニューラルネットワークの学習に役立つ実用的ガイドラインを提供すること。

提案手法

• 固定および可変の障害物を有する部屋を横切るナビゲーションを焦点としたUAVナビゲーション用のシミュレーション環境を構築する。
• 行動仲裁を備えた自動エキスパートを用い、人為的アノテーションの必要を減らすためにエキスパートのデモンストレーションと回復軌道を生成する。
• DAggerイテレーションを用いた模倣学習を実装し、分布シフトの緩和のため回復用カメラを活用する。
• RNN学習における順序相関バイアスを低減するために、ウィンドウ単位の切り捨てられた時間に沿った誤差逆伝播（WW-TBPTT）を採用する。
• エンドツーエンド学習ではなく、事前学習済みInceptionネットワーク上で、全結合層およびLSTM層のみをファインチューニングする。
• ネットワークの挙動と制御方針を可視化し、学習されたナビゲーション戦略の解釈を図る。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワーク（特にLSTM）は、視覚入力のみを用いて屋内ナビゲーションのためのUAV制御を効果的に学習できるか？
• RQ2 入力相関による学習不安定性を低減する観点で、ウィンドウ単位の切り捨てられた時間に沿った誤差逆伝播（WW-TBPTT）は、標準的なTBPTTに比べてどのように優れているか？
• RQ3 事前学習済みCNN特徴のファインチューニングは、エンドツーエンド学習に比べて性能とデータ効率を向上させるか？
• RQ4 回復軌道生成を併せ持つ自動エキスパートは、DAggerイテレーション中の分布シフトをどれほど効果的に緩和できるか？
• RQ5 回復データとマルチビューのカメラ入力は、未知の環境への一般化を向上させる上で果たす役割は何か？

主な発見

• 事前学習済みImageNetモデル上で、最終全結合層およびLSTM層のみをファインチューニングすることで、模倣損失と収束速度の両面でエンドツーエンド学習を著しく上回った。
• WW-TBPTTは、標準的なスライディングウィンドウTBPTTに比べ、順序バイアスを低減し、より安定したRNN学習を実現したが、計算量の増加を伴った。
• 自動エキスパートを用いたDAggerイテレーションは、Room Crossing Twoデータセットでは不安定な性能を示した。これは、学生が生成する軌道に起因する分布シフトと、一貫性のないエキスパートのアノテーションという2つの新たなバイアスが原因と考えられる。
• 多様な軌道からの回復データと複数のカメラアングルを組み合わせることで、未知の部屋への一般化性能が顕著に向上した。
• 事前学習済みInceptionネットワークを視覚エンコーダーとして用いることで、エンドツーエンド学習に比べてはるかに少ないデータ量で優れた性能が達成された。これはトランスファー学習の価値を示している。
• 可視化の結果、ネットワークは障害物を避けるパスプランニングや一貫性のある回避行動といった意味のあるナビゲーション戦略を学習していることが明らかになった。