[論文レビュー] Learning Transferable UAV for Forest Visual Perception

Lyujie Chen, Wufan Wang+1 more|arXiv (Cornell University)|Jun 10, 2018

Advanced Neural Network Applications参考文献 15被引用数 5

ひとこと要約

本論文では、シミュレーテッドデータセットとドメイン適応を用いて、モノクローラルUAVが密集した森のトレイルを自律的に航行するための転移学習パイプラインを提案する。森の視覚的認識をResNet-18モデルを用いた分類タスクとして定式化し、マルチカーネル最大平均差分（MK-MMD）を用いてドメイン適応を実施することで、実世界の飛行において84.08%の精度を達成し、ベースラインモデルを著しく上回った。

ABSTRACT

In this paper, we propose a new pipeline of training a monocular UAV to fly a collision-free trajectory along the dense forest trail. As gathering high-precision images in the real world is expensive and the off-the-shelf dataset has some deficiencies, we collect a new dense forest trail dataset in a variety of simulated environment in Unreal Engine. Then we formulate visual perception of forests as a classification problem. A ResNet-18 model is trained to decide the moving direction frame by frame. To transfer the learned strategy to the real world, we construct a ResNet-18 adaptation model via multi-kernel maximum mean discrepancies to leverage the relevant labelled data and alleviate the discrepancy between simulated and real environment. Simulation and real-world flight with a variety of appearance and environment changes are both tested. The ResNet-18 adaptation and its variant model achieve the best result of 84.08% accuracy in reality.

研究の動機と目的

• 限られた実世界データを用いたモノクローラルUAVが、密集した森のトレイルを自律的に航行するという課題に対処すること。
• Unreal Engineを用いた物理的に現実に近いシミュレーションを活用することで、実世界データ収集のコストとリスクを低減すること。
• シミュレーションと実世界の視覚的データ間の分布差を最小限に抑えるドメイン適応技術を用いて、シミュレーションから実世界へのギャップを埋めること。
• 多様な環境条件下でも衝突を回避し、トレイルに従う飛行を可能にする、頑健で再利用可能な視覚的認識システムを開発すること。
• シミュレーションデータにおける季節的および照明変化を用いたマルチソースドメイン適応の有効性を検証すること。

提案手法

• AirSimを用いてUnreal Engineで、多様な季節的および照明条件（春、夏、秋、冬、雪；朝、夕暮れ）をシミュレートした、新しい密集森トレイルデータセットを収集した。
• UAVの軌道意思決定を支援するため、視覚的認識を3クラス分類問題（左、前進、右）として定式化した。
• モノクローラル画像から移動方向を予測するため、シミュレーテッドデータ上でResNet-18バックボーンを訓練した。
• シミュレーテッドドメインと実世界ドメイン間の特徴分布を一致させるために、マルチカーネル最大平均差分（MK-MMD）層を導入した。
• 複数のソースドメイン（例：異なる季節や照明条件）からの特徴を統合するマルチソース適応モデルを構築し、一般化性能を向上させ、ドメインシフトを低減した。
• 予測されたクラス確率をリアルタイムのUAV飛行制御命令に変換するシンプルなリアクティブコントローラーを設計した。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッド森の画像のみで訓練されたディープラーニングモデルは、視覚的に複雑な密集した森において、実世界のUAV飛行に効果的に一般化できるか？
• RQ2 シミュレーテッドと実世界の視覚的データ間のドメインシフトが、視覚ベースのナビゲーション方策の性能に与える影響は何か？
• RQ3 季節的および照明変化といったソースドメインの多様性が、シミュレーションから実世界への転送におけるドメイン適応の性能に与える影響は何か？
• RQ4 MK-MMDを用いたマルチソースドメイン適応は、シングルソース適応と比較して一般化性能と耐性を向上させられるか？
• RQ5 MK-MMDにおけるハイパーパramータ（例：λの学習重み）の設定で、クロスドメイン転送において最適な性能が得られるか？

主な発見

• 提案されたマルチソース適応モデルは、実世界で最高の84.08%の精度を達成し、ベースラインのResNet-18モデルを著しく上回った。
• すべての季節および照明条件を含むシミュレーテッドデータをソースドメインとして使用した場合、実世界テストで81.40%の精度を達成し、非適応モデルの72.24%と比較して顕著な向上を示した。
• 冬のシミュレーテッドデータのみで訓練したモデルは、61%の精度にとどまり、季節の単純化に起因するドメインシフトが一般化を制限していることを示した。
• 秋の画像をソースドメインから除外した場合、性能が低下したため、季節の多様性が耐性を高めることの重要性が示された。
• 全季節の朝と夕暮れの画像を組み合わせたマルチソース適応モデルが最も優れた結果を示し、多様な照明条件が転送性を向上させることを示した。
• 感度分析の結果、MK-MMDの学習重みλ = 1に設定した場合が、特徴学習とドメイン差分最小化のバランスを最適にしたことが判明した。