[論文レビュー] Robust Real-time Pedestrian Detection in Aerial Imagery on Jetson TX2

Mohamed Afifi, Yara Ali+3 more|arXiv (Cornell University)|May 16, 2019

Advanced Neural Network Applications参考文献 11被引用数 6

ひとこと要約

本論文では、YOL​Oオブジェクト検出ネットワークを用いて、ドローンによる空中画像におけるロバストでリアルタイムな歩行者検出フレームワークを提示する。このフレームワークは、ジェットソンTX2統合プラットフォーム上で5 FPSを超える速度で実行可能であり、微調整を施さずに事前学習済みモデルを活用することで、ERTIチャレンジデータセットで約81 mAPを達成する。この成果により、無人航空機（UAV）を用いた監視・モニタリングアプリケーションへの効率的な展開が可能となる。

ABSTRACT

Detection of pedestrians in aerial imagery captured by drones has many applications including intersection monitoring, patrolling, and surveillance, to name a few. However, the problem is involved due to continuouslychanging camera viewpoint and object appearance as well as the need for lightweight algorithms to run on on-board embedded systems. To address this issue, the paper proposes a framework for pedestrian detection in videos based on the YOLO object detection network [6] while having a high throughput of more than 5 FPS on the Jetson TX2 embedded board. The framework exploits deep learning for robust operation and uses a pre-trained model without the need for any additional training which makes it flexible to apply on different setups with minimum amount of tuning. The method achieves ~81 mAP when applied on a sample video from the Embedded Real-Time Inference (ERTI) Challenge where pedestrians are monitored by a UAV.

研究の動機と目的

• ドローンが撮影した空中動画におけるリアルタイム歩行者検出を可能にすること。
• UAV画像における動的カメラ画角と多様な歩行者外見の変化に起因する課題に対処すること。
• ジェットソンTX2のような搭載型統合システムに適した軽量で展開可能なソリューションを開発すること。
• 事前学習済みモデルを用いることで、最小限のチューニングで高い精度を達成すること。

提案手法

• フレームワークは、速度と効率性で知られるYOLOオブジェクト検出ネットワークに基づいている。
• ターゲットデータセットへの追加トレーニングを必要とせず、事前学習済みYOLOモデルを用いている。
• 低消費電力の統合GPUプラットフォームたるジェットソンTX2向けに推論最適化が施されている。
• リアルタイムで動画ストリームを処理し、5 FPSを超える高いスループットを維持している。
• 事前学習重みを通じて暗黙的（implicit）にトランスファー学習を活用しており、多様な空中シーンにわたり高いロバスト性を確保している。
• ハイパーパrameterチューニングを最小限に抑えたアーキテクチャ設計により、異なるUAV設定への迅速な展開が可能である。

実験結果

リサーチクエスチョン

• RQ1 ターゲットデータセットへの微調整なしに、事前学習済みYOLOモデルが空中画像における歩行者検出をロバストに達成できるか？
• RQ2 UAV動画ストリームに対して、ジェットソンTX2プラットフォーム上でのYOLOベース検出のリアルタイム推論性能はどの程度か？
• RQ3 カメラ画角や歩行者外見の変化が生じる空中シーンにおいて、この手法はどのように高い精度を維持できるか？
• RQ4 軽量モデルは、統合ハードウェア上で5 FPSを超える速度で動作しながら、どの程度高いmAPを達成できるか？

主な発見

• システムは、ERTIチャレンジの空中動画データセットで平均平均精度（mAP）約81%を達成した。
• フレームワークは、ジェットソンTX2上で5フレーム/秒を超えるリアルタイム推論スループットを維持した。
• 再トレーニングや広範なハイパーパrameterチューニングを要せず、多様な空中状況においても安定して動作した。
• 事前学習済みモデルの使用により、異なるUAVベースの監視・モニタリングアプリケーションへの迅速な展開が可能になった。
• 実世界の空中動画シーケンスにおいて、変化するカメラアングルや歩行者外見に対しても、優れた一般化性能を示した。