[論文レビュー] Efficient Object Detection Model for Real-Time UAV Applications

Subrahmanyam Vaddi, Chandan Kumar+1 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 22被引用数 14

ひとこと要約

本稿では、バックボーンにMobileNetを用い、修正されたフォーカル損失関数を採用した、深層特徴ピラミッドネットワーク（DFPN）を用いた軽量でリアルタイムなオブジェクト検出モデルを提案する。実ドローンハードウェア上での評価では、14 fpsで29.2 mAPを達成し、RetinaNet や HAL-RetinaNet よりも高速かつ効率的でありながら、高い精度と低消費電力性能を維持している。

ABSTRACT

Unmanned Aerial Vehicles (UAVs) especially drones, equipped with vision techniques have become very popular in recent years, with their extensive use in wide range of applications. Many of these applications require use of computer vision techniques, particularly object detection from the information captured by on-board camera. In this paper, we propose an end to end object detection model running on a UAV platform which is suitable for real-time applications. We propose a deep feature pyramid architecture which makes use of inherent properties of features extracted from Convolutional Networks by capturing more generic features in the images (such as edge, color etc.) along with the minute detailed features specific to the classes contained in our problem. We use VisDrone-18 dataset for our studies which contain different objects such as pedestrians, vehicles, bicycles etc. We provide software and hardware architecture of our platform used in this study. We implemented our model with both ResNet and MobileNet as convolutional bases. Our model combined with modified focal loss function, produced a desirable performance of 30.6 mAP for object detection with an inference time of 14 fps. We compared our results with RetinaNet-ResNet-50 and HAL-RetinaNet and shown that our model combined with MobileNet as backend feature extractor gave the best results in terms of accuracy, speed and memory efficiency and is best suitable for real time object detection with drones.

研究の動機と目的

• リソース制限のあるUAVプラットフォームへのリアルタイム展開に適した、計算効率的でメモリ軽量なオブジェクト検出モデルの開発。
• 小規模またはレアなオブジェクトの検出性能向上を目的として、クラス不均衡を緩和する修正されたフォーカル損失関数の導入。
• 埋め込み型UAVハードウェア上での検出精度を損なわず、推論速度と電力効率を最適化すること。
• mAP、速度、エネルギー消費量の観点から、ResNet と MobileNet のバックボーンを用いたモデルの性能を評価・比較すること。
• 実四軸旋翼ドローン上にモデルをデプロイし、VisDrone’18 データセットを用いてリアルワールドの空中オブジェクト検出を検証すること。

提案手法

• 畳み込み層からのマルチスケール特徴を統合することで、小規模およびサイズが変動するオブジェクトの検出を向上させる、深層特徴ピラミッドネットワーク（DFPN）を提案。
• モデルサイズと計算コストを低減し、速度とメモリ効率を向上させるために、MobileNet をバックボーンの特徴抽出器として採用。
• 特に希少または小規模なオブジェクトに対してクラス不均衡の影響を軽減し、検出の信頼性を向上させるために、修正されたフォーカル損失関数を統合。
• 歩行者、車両、自転車など多様な空中オブジェクトを含む VisDrone’18 データセットを用いてモデルを学習。
• 実四軸旋翼ドローン搭載のNVIDIA Jetson TX2 埋め込みプラットフォームに学習済みモデルをデプロイし、リアルタイム推論を実施。
• mAP、推論速度（fps）、消費電力の指標を用いて性能を測定し、リアルタイム実現可能性と効率性を評価。

実験結果

リサーチクエスチョン

• RQ1 軽量オブジェクト検出モデルは、リソース制限のあるUAVハードウェア上で、10 fps以上を達成するリアルタイム推論を実現できるか？
• RQ2 DFPN と修正されたフォーカル損失関数の組み合わせは、空中画像における小規模または希少オブジェクトの検出精度をどのように向上させるか？
• RQ3 バックボーンとして MobileNet を使用する場合と ResNet を使用する場合とで、検出精度、推論速度、モデルサイズのトレードオフはどのように変化するか？
• RQ4 VisDrone’18 ベンチマークにおいて、本稿で提案するモデルは、RetinaNet や HAL-RetinaNet といった最先端モデルと比較して、性能と効率性でどのように差をつけるか？
• RQ5 本モデルは、ドローンプラットフォーム上でどれほど消費電力を低減し、メモリフットプリントを削減できるか。その結果、飛行時間の延長が可能になるか？

主な発見

• MobileNet をバックボーンとして使用したモデルは、14 fps の推論速度を達成し、UAVアプリケーションにおけるリアルタイム要件を満たした。
• VisDrone’18 データセットでは 29.2 mAP を達成し、RetinaNet（23 mAP）を上回り、HAL-RetinaNet（31.8 mAP）に近い精度を実現した。
• MobileNet を用いたモデルでは、パラメータ数を 13.5 億件に削減し、消費電力を 85W まで低減した。これにより、エネルギー効率とメモリフットプリントが顕著に向上した。
• DFPNアーキテクチャはマルチスケール特徴の統合により特徴表現を強化し、小規模または隠蔽されたオブジェクトの検出を向上させた。
• 修正されたフォーカル損失関数は、特に希少オブジェクトカテゴリに対してクラス不均衡の影響を効果的に軽減した。
• 本モデルは実世界でも高い性能を示し、高信頼性でライブドローン撮影画像におけるオブジェクト検出に成功した。