[論文レビュー] Learning Vision-based Cohesive Flight in Drone Swarms

Fabian Schilling, Julien Lecoeur+2 more|arXiv (Cornell University)|Sep 3, 2018

Robotics and Sensor-Based Localization参考文献 26被引用数 16

ひとこと要約

本論文は、畳み込みニューラルネットワークを用いて、生のカメラ画像から直接、完全に分散型で、衝突のない団結飛行を学習する、視覚ベースの制御システムを提案する。群れ飛行アルゴリズムから生成されたシミュレートデータを用いて訓練することで、通信や位置情報の共有なしに、視覚入力のみから3次元の速度指令を予測する制御器が得られ、サンプル効率が高く、強靭な協調飛行が実現される。実験では、予め見られなかった群れのサイズや速度に対しても一般化が示された。

ABSTRACT

This paper presents a data-driven approach to learning vision-based collective behavior from a simple flocking algorithm. We simulate a swarm of quadrotor drones and formulate the controller as a regression problem in which we generate 3D velocity commands directly from raw camera images. The dataset is created by simultaneously acquiring omnidirectional images and computing the corresponding control command from the flocking algorithm. We show that a convolutional neural network trained on the visual inputs of the drone can learn not only robust collision avoidance but also coherence of the flock in a sample-efficient manner. The neural controller effectively learns to localize other agents in the visual input, which we show by visualizing the regions with the most influence on the motion of an agent. This weakly supervised saliency map can be computed efficiently and may be used as a prior for subsequent detection and relative localization of other agents. We remove the dependence on sharing positions among flock members by taking only local visual information into account for control. Our work can therefore be seen as the first step towards a fully decentralized, vision-based flock without the need for communication or visual markers to aid detection of other agents.

研究の動機と目的

• 位置情報の共有や通信に依存しない、分散型で視覚ベースのドローン群制御システムの開発。
• 局所的な視覚入力のみと、生画像からのエンドツーエンド学習によって、密集した群れでも強靭で団結飛行を実現すること。
• ニューラルネットワークが明示的な教師信号なしに、視覚データからエージェントの局所化と相対運動を暗黙的に学習できることを示すこと。
• 訓練された制御器が、群れのサイズや速度が異なる未観測の条件に対しても一般化できることを検証すること。
• 完全に自律的で視覚のみに依存するドローン群の実世界への展開の基盤を提供すること。

提案手法

• 制御器は、生の全方向カメラ画像から3次元速度指令を予測する回帰問題として定式化される。
• 四脚ヘリコプタのシミュレート群れが、ランダムな初期化と軌道を伴う単純な群れ飛行アルゴリズムを実行し、学習データを生成する。
• 各画像に対して、群れ飛行アルゴリズムの力学から対応する目標速度指令が計算され、視覚と制御のペairedデータセットが作成される。
• 畳み込みニューラルネットワーク（CNN）が、予測値と目標値の誤差を最小化するように訓練され、視覚入力から速度指令をマッピングする。
• 勾配に基づく帰属度（attribution）を、最終の畳み込み層で計算し、運動意思決定に最も影響を与える画像領域を可視化する。
• 訓練されたCNNは、PX4とROSを用いたシミュレーションおよび初期の実世界実験で、リアルタイムで反応する制御器として実装された。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのニューラル制御器は、位置情報の共有や通信に依存せずに、ドローン群で団結的かつ衝突のない飛行を学習できるか？
• RQ2 シミュレーションデータで訓練されたCNNは、未観測の群れのサイズや速度にどの程度一般化できるか？
• RQ3 明示的な検出の教師信号なしに、ネットワークが生の視覚入力から他のエージェントを局所化できるか？
• RQ4 salienceマップは、運動意思決定に影響を与える視覚的に顕著な領域をどれだけ的確に特定できるか？
• RQ5 同じソフトウェアスタック（PX4/ROS）を用いて、シミュレーションから実世界飛行への制御器の移行は可能か？

主な発見

• 視覚ベースの制御器は、サイズ（N=3,12）や速度（v^max=2.0, 4.0 m/s）が異なるシミュレート群れにおいて、衝突のない団結飛行を成功裏に達成し、強い一般化性能を示した。
• 移動目標点を除去しても、安定したエージェント間距離と高い秩序パラメータを維持しており、自己組織的団結性が裏付けられた。
• salienceマップの可視化から、ネットワークが視界内に存在する特定のエージェントを効果的に局所化していることが明らかになった。
• salienceマップはバックプロパゲーションにより効率的に計算可能であり、検出や相対位置推定システムのリアルタイム事前知識として利用可能である。
• 変動要因（群れのサイズや速度の変更など）に対しても、性能に顕著な低下が見られず、未観測条件への一般化が良好に実現された。
• 初期の実世界実験から、シミュレーションで使用した同じソフトウェアスタック（PX4/ROS）が実ドローンに対しても適用可能であり、シミュレーションから現実への滑らかな移行が可能であることが確認された。