[論文レビュー] Analysis and Adaptation of YOLOv4 for Object Detection in Aerial Images

Aryaman Singh Samyal, K R Akshatha+3 more|arXiv (Cornell University)|Mar 18, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、VisDrone DET データセットを用いた転移学習により、YOLOv4 を空中オブジェクト検出に適応させた。Tesla K80 で 45.64% の mAP および 8.7 FPS の推論速度を達成した。モデルは高密度な空中シーンにおける小形、切断、隠蔽オブジェクトの検出に優れており、ドローンベースのリアルタイム応用において、最先端の検出器を上回る速度と精度を発揮した。

ABSTRACT

The recent and rapid growth in Unmanned Aerial Vehicles (UAVs) deployment for various computer vision tasks has paved the path for numerous opportunities to make them more effective and valuable. Object detection in aerial images is challenging due to variations in appearance, pose, and scale. Autonomous aerial flight systems with their inherited limited memory and computational power demand accurate and computationally efficient detection algorithms for real-time applications. Our work shows the adaptation of the popular YOLOv4 framework for predicting the objects and their locations in aerial images with high accuracy and inference speed. We utilized transfer learning for faster convergence of the model on the VisDrone DET aerial object detection dataset. The trained model resulted in a mean average precision (mAP) of 45.64% with an inference speed reaching 8.7 FPS on the Tesla K80 GPU and was highly accurate in detecting truncated and occluded objects. We experimentally evaluated the impact of varying network resolution sizes and training epochs on the performance. A comparative study with several contemporary aerial object detectors proved that YOLOv4 performed better, implying a more suitable detection algorithm to incorporate on aerial platforms.

研究の動機と目的

• ドローンによって撮影された空中画像における小形、密集、切断、隠蔽オブジェクトの検出という課題に対処すること。
• リソース制限のある空中プラットフォームへのリアルタイム展開を念頭に、検出精度と推論速度を向上させること。
• VisDrone データセット上で最新の検出器と比較することにより、YOLOv4 が空中検出にどの程度有効であるかを評価すること。
• 入力解像度とトレーニングエポック数が YOLOv4 の空中オブジェクト検出性能に与える影響を調査すること。
• スケールおよび隠蔽変動に対する YOLOv4 の頑健性を向上させるために、転移学習とデータ拡張の有効性を実証すること。

提案手法

• ImageNet 事前学習済み重みを用いた転移学習により、VisDrone DET データセット上で YOLOv4 を微調整し、収束を加速させた。
• PANet を用いたマルチスケール特徴マッピングと空間畳み込みプーリング（SPP）を採用し、受容 field と特徴表現を強化した。
• 一般化性と頑健性を向上させるために、mixup、mosaic、ランダムスケーリングを含むデータ拡張技術（Freebies のセット）を適用した。
• 精度と推論速度のトレードオフを分析するために、入力解像度を 416×416 から 1120×1120 まで変化させながらモデルを学習した。
• VisDrone テストセット上で、mAP（IoU=0.5 時）と推論速度（FPS）を主な評価指標として用いた。
• mAP を最大化するとともにリアルタイム性能を維持するために、学習率、バッチサイズ、トレーニングエポック数などのハイパーパramータを最適化した。

実験結果

リサーチクエスチョン

• RQ1 YOLOv4 は VisDrone データセットにおける空中オブジェクト検出で、高い精度とリアルタイム推論速度を達成できるか？
• RQ2 入力解像度は、空中検出タスクにおける YOLOv4 の mAP と推論速度にどのように影響するか？
• RQ3 転移学習は、小形オブジェクトが多数存在する空中データセットにおいて、収束性と性能をどの程度向上させるか？
• RQ4 他の最先端の検出器と比較して、YOLOv4 は切断・隠蔽オブジェクトの検出においてどの程度の性能を発揮するか？
• RQ5 計算リソースが限られたドローン（UAV）に展開する際、モデルの精度と推論速度の最適なバランスは何か？

主な発見

• YOLOv4 は VisDrone DET データセットで 45.64% の平均平均精度（mAP）を達成し、複数の最新検出器を精度と速度の両面で上回った。
• Tesla K80 GPU 上で 8.7 FPS の推論速度を達成したため、ドローンへの展開に実用的であることが示された。
• 入力解像度を 416×416 から 768×768 に引き上げることで、小形オブジェクトの検出が著しく向上し、mAP は 33.06% から 45.64% に上昇した。
• 416×416 解像度でも、'person' の 9.92%、'bicycle' の 8.91% を正しく検出できたことから、解像度とアーキテクチャの最適化により小形オブジェクト検出性能が向上したことが示された。
• 2段階検出器（ACM-OD や DPNet-ensemble）と比較して、YOLOv4 は推論速度が著しく速く、8.7 FPS を達成した。
• VisDrone 評価基準で 50% 以上の切断が見られるオブジェクトの予測を除外している（制限事項）にもかかわらず、YOLOv4 は依然として優れた mAP を達成しており、切断・隠蔽に対する高い頑健性を示した。