[論文レビュー] 1st Workshop on Maritime Computer Vision (MaCVi) 2023: Challenge Results

Benjamin Kiefer, Matej Kristan+71 more|arXiv (Cornell University)|Nov 24, 2022

Maritime Navigation and Safety被引用数 12

ひとこと要約

本論文は、2023年第1回海事コンピュータビジョンワークショップ（MaCVi 2023）の結果を提示するもので、UAVおよびUSVを用いた物体検出、トラッキング、障害物セグメンテーション／検出を評価するものである。SeaDronesSeeおよびMODSベンチマークを用い、対象となるデータセットとしてSeaDronesSee Object Detection v2を拡張して導入し、130件を超える提出物の分析と、上位性能を示した手法のトレンド分析を実施した。本研究では、再現可能性およびベンチマーク評価を促進するため、データセット、コード、リーダーボードを公開している。

ABSTRACT

The 1$^{ ext{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

研究の動機と目的

• UAVおよびUSVを用いた海事アプリケーションにおけるコンピュータビジョン手法の評価と前進を図ること。
• 水面の反射、変動する照明、小型の物体サイズといった厳しい条件下での海事物体検出およびトラッキングの課題に対処すること。
• より多くのクラスと多様な映像を含む、拡張されたベンチマーク「SeaDronesSee Object Detection v2」を導入し、今後の研究を支援すること。
• UAVベースの検出とトラッキング、USVベースの障害物セグメンテーションと検出の4つのサブチャレンジにおいて、130件を超える提出物のトレンドと性能を分析すること。
• 再現可能性とベンチマーク評価を促進するため、公開可能なデータセット、評価コード、リーダーボードを提供すること。

提案手法

• 本チャレンジでは、UAVおよびUSVプラットフォームにおける物体検出、トラッキング、障害物セグメンテーションの評価に、SeaDronesSeeおよびMODSベンチマークを用いた。
• UAVベースの検出では、マルチスケール入力（1920x1080～2688x1512）と、ランダムガンマ、明るさコントラスト、RGBシフトを含むデータ拡張技術を用いてモデルを訓練およびテストした。
• MMDetectionフレームワークを用いたYOLOv7ベースの検出器を採用し、2台のTesla V100 GPUを用い、推論速度は約5 FPSを達成した。
• USV障害物検出のため、海岸マスクの事前知識を統合することで誤検出を低減する、プライアormapガイドド・パラレルリーダルバイフュージョン特徴フュージョンネットワーク（PPRB-FPN）を提案した。
• PPRB-FPNモデルではYOLOv7をバックボーンとして採用し、データ拡張（Mixout、CutMix、カラージャンブル、ランダム回転）を適用し、バッチサイズ64で単一のV100で学習した。
• OceanUでは、E-ELAN変更を施した改変YOLOv7を用い、MODSでクラス再割り当て（人、船、その他）を実施し、水域領域の検出に最適化した。

実験結果

リサーチクエスチョン

• RQ1 水面の反射や変動する照明といった厳しい条件下で、小型の海事物体を検出する現行のコンピュータビジョンモデルの性能トレンドと限界は何か？
• RQ2 海岸領域のマスクフィルタリングなどの事前知識を活用する手法は、複雑な海事シーンにおけるUSV障害物検出における誤検出をどれほど効果的に低減できるか？
• RQ3 より多くの物体クラスと多様な映像を含むベンチマークの拡張は、モデルの一般化性能と評価のロバスト性をどの程度向上させるか？
• RQ4 異なるデータ拡張およびトレーニング戦略は、海事物体検出タスクにおける推論速度と精度にどのように影響を与えるか？
• RQ5 UAVおよびUSVの海事ビジョンチャレンジで最先端の性能を達成するにあたり、どのようなアーキテクチャ的および最適化的選択が重要であったか？

主な発見

• SeaDronesSee Object Detection v2ベンチマークが導入され、元のデータセットに追加の物体クラスと新しい映像素材が追加され、より広範かつ現実的な評価を可能にした。
• 130件を超える提出物の分析から、マルチスケール推論と高度なデータ拡張技術を用いたモデルが、すべてのサブチャレンジで高いmAPスコアを達成したことが判明した。
• PPRB-FPN手法は、海岸領域の事前知識を活用することで誤報を抑制し、USV障害物検出において優れた性能を発揮し、検出の信頼性を向上させた。
• YOLOv7ベースのモデルは、V100 GPU上で約5 FPSの推論速度を達成し、組み込みプラットフォームへのリアルタイム実装に適していることが示された。
• MS-COCOからの事前学習重みの使用と、クラス再割り当て（例：人・船以外のすべての物体を「その他」とグループ化）により、希少な海事クラスにおけるトレーニングの安定性と検出精度が著しく向上した。
• リーダーボードおよびデータセット、コード、評価ツールの公開により、再現可能性が確保され、今後の海事コンピュータビジョン分野の研究基盤が構築された。