[論文レビュー] Implementation of an Onboard Visual Tracking System with Small Unmanned Aerial Vehicle (UAV)

Ashraf Qadir, William Semke+1 more|arXiv (Cornell University)|May 25, 2012

Robotics and Sensor-Based Localization参考文献 7被引用数 11

ひとこと要約

本論文は、搭載コンピュータを用いて自律的に動作する、小型UAV向けの計算効率が良く、リアルタイムなオンボード視覚追跡システムを提示する。オブジェクトの初期化には、事前飛行に保存された画像パッチまたは地上運用者の選択の2つの方法を採用し、明るさの変化や視点の変化に対しても頑健性を示し、ラボおよび飛行テストにおいてリアルタイムの追跡を成功裏に実現した。追跡失敗後にも再検出機能を備えている。

ABSTRACT

This paper presents a visual tracking system that is capable or running real time on-board a small UAV (Unmanned Aerial Vehicle). The tracking system is computationally efficient and invariant to lighting changes and rotation of the object or the camera. Detection and tracking is autonomously carried out on the payload computer and there are two different methods for creation of the image patches. The first method starts detecting and tracking using a stored image patch created prior to flight with previous flight data. The second method allows the operator on the ground to select the interest object for the UAV to track. The tracking system is capable of re-detecting the object of interest in the events of tracking failure. Performance of the tracking system was verified both in the lab and during actual flights of the UAV. Results show that the system can run on-board and track a diverse set of objects in real time.

研究の動機と目的

• 制限されたリソースを有する小型UAVにおいて、限られた搭載プロセッシングパワーでリアルタイム視覚追跡を実現する課題に対処すること。
• GPSや外部インfraストラクチャに依存せずに、選択されたオブジェクトの自律的追跡を可能にすること。
• 飛行中の明るさの変化およびオブジェクト／カメラの回転に対し、頑健性を確保すること。
• 事前保存された画像パッチまたは地上制御によるリアルタイムの運用者選択の2つの初期化方法を提供すること。
• 追跡失敗後に信頼性の高い再検出を実現し、ミッションの継続性を維持すること。

提案手法

• 小型UAVの組み込みシステムに適した計算効率の良いパッチベースの視覚追跡アルゴリズムを採用する。
• 適応的特徴表現を用いたテンプレートマッチングアプローチを採用し、明るさの変化に耐える追跡を維持する。
• 局所的強度パターンまたは勾配ベースの特徴を活用することで、回転不変性を持つ追跡機構を実装する。
• 追跡信頼度がしきい値未満に低下した際に起動する再検出モジュールを導入し、最後に確認された位置の周囲の検索ウィンドウを用いる。
• 事前保存された画像パッチまたは地上制御によるライブ選択の両方をサポートする初期化の二重方法を実装する。
• 完全にUAVの搭載コンピュータ上で実行され、外部システムへの依存を最小限に抑え、遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 限られた計算リソースを有する小型UAV上で、軽量な視覚追跡システムがリアルタイム性能を達成できるか？
• RQ2 飛行中の明るさの変化およびオブジェクト／カメラの回転に対して、この追跡システムはどれほど頑健か？
• RQ3 事前飛行テンプレート初期化とリアルタイム地上運用者選択の間で、性能のトレードオフは何か？
• RQ4 一時的な追跡失敗後、システムは信頼性高くターゲットを再検出できるか？
• RQ5 実際のUAV飛行運用において、システムは正確性と安定性をどれほど維持できるか？

主な発見

• 本システムは、外部支援なしに、UAVの搭載コンピュータのみを用いてリアルタイムで動作することに成功した。
• 明るさの変化やオブジェクトの回転に対しても、追跡性能が安定しており、頑健性が確認された。
• 再検出機構は追跡失敗からの回復を効果的に実現し、自律運用の継続性を確保した。
• 事前保存されたパッチとリアルタイム選択の両方の初期化方法が、多様なシナリオで信頼性の高い追跡を可能にした。
• ラボおよび飛行テストにより、本システムが多様なオブジェクトを一貫した正確性で追跡できることを確認した。
• 本システムは、計算オーバーヘッドが低く、小型で低消費電力のUAVプラットフォームに適したリアルタイム性能を達成した。