[論文レビュー] Real-Time Flying Object Detection with YOLOv8

Dillon Reis, Jordan Kupec+2 more|arXiv (Cornell University)|May 17, 2023

Advanced Neural Network Applications被引用数 337

ひとこと要約

本論文は、40の飛翔物クラスで訓練された一般化されたYOLOv8ベースの検出器を提示し、実世界データで転移学習によって改良されたモデルを提案する。1080pで50 fpsを達成し、mAP50-95は0.685（一般化）と0.835（改良された）である。

ABSTRACT

This paper presents a generalized model for real-time detection of flying objects that can be used for transfer learning and further research, as well as a refined model that achieves state-of-the-art results for flying object detection. We achieve this by training our first (generalized) model on a data set containing 40 different classes of flying objects, forcing the model to extract abstract feature representations. We then perform transfer learning with these learned parameters on a data set more representative of real world environments (i.e. higher frequency of occlusion, very small spatial sizes, rotations, etc.) to generate our refined model. Object detection of flying objects remains challenging due to large variances of object spatial sizes/aspect ratios, rate of speed, occlusion, and clustered backgrounds. To address some of the presented challenges while simultaneously maximizing performance, we utilize the current state-of-the-art single-shot detector, YOLOv8, in an attempt to find the best trade-off between inference speed and mean average precision (mAP). While YOLOv8 is being regarded as the new state-of-the-art, an official paper has not been released as of yet. Thus, we provide an in-depth explanation of the new architecture and functionality that YOLOv8 has adapted. Our final generalized model achieves a mAP50 of 79.2%, mAP50-95 of 68.5%, and an average inference speed of 50 frames per second (fps) on 1080p videos. Our final refined model maintains this inference speed and achieves an improved mAP50 of 99.1% and mAP50-95 of 83.5%

研究の動機と目的

• リアルタイムの飛翔物検出と転移学習・実運用の実用性を動機づける。
• 多様な飛翔物クラスで訓練された一般化モデルを開発し、抽象的特徴を学習させる。
• 遮蔽・小さな物体・回転に対応するために実世界条件へ適応させる転移学習を適用する。
• 高速推論と速度–精度のトレードオフを比較するためにYOLOv8を活用する。
• リアルタイ deploymentのための精練済み、すぐに使えるモデルを提供する。

提案手法

• 検出器としてYOLOv8を採用し、COCO pretrained weightsで初期化する。
• 40クラス飛翔物データセットで小型/中型/大型のYOLOv8を163エポック訓練し、最良のトレードオフを選択（中型モデル）。
• 現実世界に近いデータセットで、遮蔽とスケール変動が大きいデータでさらに転移学習を実施する。
• ボックス回帰のCIoU、分類の二値交差エントロピー、λ_box、λ_cls、λ_dflを指定した重みで分布焦点損失を含む損失成分を使用する。
• 評価はmAP50-95と1080p推論速度（目標は30–60 fps）で行う。
• activations mapを用いて活性化を分析し、特徴表現と混乱（例：F-14対F-18）を理解する。

実験結果

リサーチクエスチョン

• RQ1 YOLOv8のようなシングルショット検出器は、さまざまな飛翔物クラスを高解像度でリアルタイム検出できるか？
• RQ2 一般化された飛翔物データセットからの転移学習は、現実世界の遮蔽・小物体において性能を向上させるか？
• RQ3 このタスクにおけるモデルサイズ、推論速度、およびmAP50-95のトレードオフはどうなるか？
• RQ4 活性化パターンは、似た航空機間のクラス間混乱とどのように関連しているか？
• RQ5 改良されたモデルはリアルタイムデプロイメントのため、すぐに使用可能な状態か？

主な発見

• 一般化モデルは1080p動画で50 fps、mAP50-95は0.685を達成。
• 転移学習による改良モデルは50 fpsを維持し、mAP50-95を0.835へ向上。
• 中型YOLOv8がテストされたサイズの中で最良の速度–精度のバランスを提供。
• 40クラスの飛翔物で訓練することで、特に小さな物体やカモフラージュされた物体に対して転移学習に適した抽象特徴を学習。
• 活性化マップ分析は、より深いCSPDarknet53段階が微細な特徴に焦点を当て、クラス間混乱（例：F-14 vs F-18）を説明可能であることを示唆。
• 改良モデルは遠くの鳥類や非常に小さな物体（例：ドローン、ヘリコプター）を含む困難なシーンで堅牢な検出を示す。