[論文レビュー] YOLOv3 with Spatial Pyramid Pooling for Object Detection with Unmanned Aerial Vehicles

Wahyu Pebrianto, Panca Mudjirahardjo+3 more|arXiv (Cornell University)|May 21, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、ドローンから撮影された画像における小規模物体検出を向上させるために、空間的スケールプールリング（SPP）を組み込んだYOLOv3を提案する。darknet-53バックボーンにSPPを統合することで、マルチスケール特徴抽出が強化され、640×640の入力解像度において、YOLOv3よりも0.6%高いmAPを達成し、YOLOv3-tinyよりも26.6%高いmAPを記録した。また、入力スケールにわたる堅牢性も向上した。

ABSTRACT

Object detection with Unmanned Aerial Vehicles (UAVs) has attracted much attention in the research field of computer vision. However, not easy to accurately detect objects with data obtained from UAVs, which capture images from very high altitudes, making the image dominated by small object sizes, that difficult to detect. Motivated by that challenge, we aim to improve the performance of the one-stage detector YOLOv3 by adding a Spatial Pyramid Pooling (SPP) layer on the end of the backbone darknet-53 to obtain more efficient feature extraction process in object detection tasks with UAVs. We also conducted an evaluation study on different versions of YOLOv3 methods. Includes YOLOv3 with SPP, YOLOv3, and YOLOv3-tiny, which we analyzed with the VisDrone2019-Det dataset. Here we show that YOLOv3 with SPP can get results mAP 0.6% higher than YOLOv3 and 26.6% than YOLOv3-Tiny at 640x640 input scale and is even able to maintain accuracy at different input image scales than other versions of the YOLOv3 method. Those results prove that the addition of SPP layers to YOLOv3 can be an efficient solution for improving the performance of the object detection method with data obtained from UAVs.

研究の動機と目的

• 高高度からの撮影によるドローン画像における小規模物体検出の課題に対処すること。
• 航空画像向けに、YOLOv3のような1段階検出器の性能を向上させること。
• YOLOv3のバックボーンに空間的スケールプールリング（SPP）を統合することで、マルチスケール特徴学習の有効性を評価すること。
• 異なる入力スケールにおいて、YOLOv3にSPPを組み込んだモデルと、標準YOLOv3およびYOLOv3-tinyの性能を比較すること。
• 入力解像度が変化する条件下でも、物体検出の堅牢性と精度の向上を実証すること。

提案手法

• YOLOv3のdarknet-53バックボーンの直後に空間的スケールプールリング（SPP）レイヤーを統合し、マルチスケールの文脈的特徴を捉える。
• SPPモジュール内で、複数のスケール（例：1×1、3×3、5×5、7×7）でのマックスプールィングを用いて、異なる受容fieldからの特徴を統合する。
• プールドされた特徴を、その後続のYOLOv3ネックおよびヘッドに供給し、物体検出を実行する。
• 640×640の入力解像度を用いて、VisDrone2019-Detデータセット上でモデルを学習および評価する。
• 同一の条件下で、YOLOv3にSPPを組み込んだモデル、標準YOLOv3、YOLOv3-tinyの推論性能を比較する。
• 640×640を超える異なる入力スケールでの精度を評価することで、モデルの汎化性能をテストする。

実験結果

リサーチクエスチョン

• RQ1 YOLOv3にSPPを統合することで、ドローン画像における小規模物体検出の精度が向上するか？
• RQ2 VisDrone2019-Detデータセットにおいて、YOLOv3にSPPを組み込んだモデルは、標準YOLOv3およびYOLOv3-tinyと比較してmAPでどの程度優れているか？
• RQ3 SPPを強化したYOLOv3は、異なる入力画像解像度においても高い検出精度を維持できるか？
• RQ4 SPPは、航空画像における小規模物体検出のための特徴表現をどの程度向上させるか？
• RQ5 SPPモジュールは、ドローンで撮影された画像におけるスケール変動に対する堅牢性を向上させるのに有効か？

主な発見

• YOLOv3にSPPを組み込んだモデルは、640×640の入力解像度において、VisDrone2019-Detデータセットで標準YOLOv3よりも0.6%高い平均平均精度（mAP）を達成した。
• 同じ評価条件下で、SPPを強化したモデルはYOLOv3-tinyよりもmAPで26.6%高い性能を示した。
• モデルは異なる入力画像スケールにおいても高い検出精度を維持しており、堅牢性の向上が確認された。
• SPPの追加により、バックボーンから得られるマルチスケールの文脈的情報を捉える特徴抽出効率が向上した。
• SPPモジュールは、高高度でのドローン画像における小規模物体の局所化および分類精度を向上させた。
• 結果から、SPP統合は航空画像物体検出タスクにおけるYOLOv3の性能を強化する有効かつ効率的な手法であると確認された。