[論文レビュー] MODS -- A USV-oriented object detection and obstacle segmentation benchmark

Borja Bovcon, Jon Muhovič+4 more|arXiv (Cornell University)|May 5, 2021

Maritime Navigation and Safety参考文献 77被引用数 92

ひとこと要約

本稿では、自律水上船舶（USV）の認識を統一的に評価するための新規ベンチマーク「MODS」を紹介する。このベンチマークは、海事オブジェクト検出と障害物セグメンテーションの2つのタスクを統合しており、80,828枚のIMU同期済みステレオ画像を含む大規模なデータセットを提供する。さらに、実世界のUSV航行に意味のある形で検出精度を測定する新規評価プロトコルも提案している。ベンチマークでは19の最先端手法が評価され、一般向けモデルは小型オブジェクトに対して性能が著しく劣ることが判明。一方、海事用途に特化したアーキテクチャ（例：WaSR）は、誤検出の制御において優れた性能を示している。

ABSTRACT

Small-sized unmanned surface vehicles (USV) are coastal water devices with a broad range of applications such as environmental control and surveillance. A crucial capability for autonomous operation is obstacle detection for timely reaction and collision avoidance, which has been recently explored in the context of camera-based visual scene interpretation. Owing to curated datasets, substantial advances in scene interpretation have been made in a related field of unmanned ground vehicles. However, the current maritime datasets do not adequately capture the complexity of real-world USV scenes and the evaluation protocols are not standardised, which makes cross-paper comparison of different methods difficult and hinders the progress. To address these issues, we introduce a new obstacle detection benchmark MODS, which considers two major perception tasks: maritime object detection and the more general maritime obstacle segmentation. We present a new diverse maritime evaluation dataset containing approximately 81k stereo images synchronized with an on-board IMU, with over 60k objects annotated. We propose a new obstacle segmentation performance evaluation protocol that reflects the detection accuracy in a way meaningful for practical USV navigation. Nineteen recent state-of-the-art object detection and obstacle segmentation methods are evaluated using the proposed protocol, creating a benchmark to facilitate development of the field. The proposed dataset, as well as evaluation routines, are made publicly available at vicos.si/resources.

研究の動機と目的

• USV認識分野における標準化され、大規模かつ多様なデータセットの不足に応えること、特に障害物検出とセグメンテーションに焦点を当てる。
• 既存の海事データセットが現実の複雑さを捉えておらず、一貫性のある評価プロトコルを欠いているという限界を克服すること。
• 標準化された評価指標を用いた統一ベンチマークを導入することで、USV認識手法の客観的かつ論文間比較可能な評価を可能にすること。
• 特に小型・遠距離障害物に対して、現在の最先端モデルの性能ギャップを特定すること。
• 公開可能なデータ、学習データセット、評価コードを提供することで、自律USV航行分野の進展を加速すること。

提案手法

• 著者らは、多様な天候条件下で運用するUSVから収集した、80,828枚の同期済みステレオRGB画像からなる新規データセットを構築。IMUによる時間同期が保証されている。
• データセットには詳細なアノテーションが付与されており、動的障害物（例：水泳者、ブイ、船）のバウンディングボックス、静的障害物（例：岸壁、桟橋）および航行可能領域のピクセルレベルセグメンテーションマスクが含まれる。
• USV航行に意味のある形で検出精度を測定するための新規障害物セグメンテーション評価プロトコルを設計。誤検出の制御とエッジ検出の正確性に重点を置いている。
• プロトコルは、USV周辺の危険領域内での真陽性率（RTP）、偽陽性率（RFP）、検出比（∇T, ∇F）などの主要指標を計算する。
• オブジェクト検出およびセグメンテーションタスク用に整理された学習データセットをベンチマークに統合し、モデルの一貫性ある訓練と評価を可能にしている。
• 評価はPythonで実装され、Mask R-CNN、FCOS、およびWaSR や BiSeNet といった特化型セグメンテーションネットワークを含む19の最先端モデルに適用されている。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ実世界のUSVデータセット（多様な環境条件下）において、最先端のオブジェクト検出およびセグメンテーションモデルは、どのように性能を発揮するか？
• RQ2 一般向けモデル（例：COCOで学習済み）は、海事障害物検出に応用した場合、特に小型または遠距離オブジェクトに対してどのような主な失敗モードを示すか？
• RQ3 USV特化型学習において、幾何的アугメンテーションは色移置と比較して、セグメンテーション性能をどの程度向上させるか？
• RQ4 提案された評価プロトコルは、mAPなどの標準指標では捉えきれない性能差をどのように明らかにするか？
• RQ5 セグメンテーションベースの障害物検出手法は、実際のUSV運用制約下でもリアルタイム性能と頑健なエッジ検出を達成できるか？

主な発見

• 一般向けオブジェクト検出器は、COCOと比較してMODSではF1スコアが約6倍低くなることが判明し、顕著なドメイン特異的課題であることが示された。
• すべての手法が小型および非常に小型オブジェクトに対して低再現率を示しており、特に水泳者やブイの誤検出率が顕著に高かった。全体の精度は良好であったが、この点が課題となった。
• Mask R-CNNは認識性能を含めた全体的な検出性能で最高を記録した一方、FCOSはUSVに近い領域での検出専用タスクで最良の性能を示し、高スペックGPUで約14 FPSを達成した。
• 海事用途に特化した手法WaSRは、障害物セグメンテーションにおいて最高のF1スコアを記録した。これは、危険領域内での偽陽性率が非常に低く（0.5％）、大型オブジェクトでは真陽性率が98.8％に達したことに起因する。
• 上位手法における偽陽性は、しばしば小さなオブジェクトに起因しており、遠く離れた小型障害物の検出を改善することが、主な性能ボトルネックであると考えられる。
• RefineNet や BiSeNet といったセグメンテーションモデルは、水と障害物の境界を頑健に検出（>97％の正確性）していたが、一部で境界を過剰に検出するケースもあり、衝突リスクを増加させる可能性があった。