[論文レビュー] xView3-SAR: Detecting Dark Fishing Activity Using Synthetic Aperture Radar Imagery

Fernando Paolo, Tsu-ting Tim Lin+6 more|arXiv (Cornell University)|Jun 2, 2022

Underwater Acoustics ResearchEarth and Planetary Sciences被引用数 17

ひとこと要約

本論文は、合成開口レーダー（SAR）画像における暗黒漁船の検出と特徴化のための、公開利用可能な最大規模のデータセットxView3-SARを紹介する。991枚の高解像度SAR画像に、AISデータと熟練者による検証済みアノテーションを統合した。このデータセットにより、違法・未報告・無規制（IUU）漁業に対する大規模な機械学習が可能となり、SAR特有のデータ拡張法とディープラーニングモデルを用いた船舶検出・分類・長さ推定で最先端の性能を示す共同チャレンジが実施された。

ABSTRACT

Unsustainable fishing practices worldwide pose a major threat to marine resources and ecosystems. Identifying vessels that do not show up in conventional monitoring systems -- known as ``dark vessels'' -- is key to managing and securing the health of marine environments. With the rise of satellite-based synthetic aperture radar (SAR) imaging and modern machine learning (ML), it is now possible to automate detection of dark vessels day or night, under all-weather conditions. SAR images, however, require a domain-specific treatment and are not widely accessible to the ML community. Maritime objects (vessels and offshore infrastructure) are relatively small and sparse, challenging traditional computer vision approaches. We present the largest labeled dataset for training ML models to detect and characterize vessels and ocean structures in SAR imagery. xView3-SAR consists of nearly 1,000 analysis-ready SAR images from the Sentinel-1 mission that are, on average, 29,400-by-24,400 pixels each. The images are annotated using a combination of automated and manual analysis. Co-located bathymetry and wind state rasters accompany every SAR image. We also provide an overview of the xView3 Computer Vision Challenge, an international competition using xView3-SAR for ship detection and characterization at large scale. We release the data (\href{https://iuu.xview.us/}{https://iuu.xview.us/}) and code (\href{https://github.com/DIUx-xView}{https://github.com/DIUx-xView}) to support ongoing development and evaluation of ML approaches for this important application.

研究の動機と目的

• 衛星ベースの合成開口レーダー（SAR）画像を用いて、AIS信号を送信しない暗黒漁船を検出するという、極めて重要な課題に対処すること。
• 既存のデータセットの限界を克服し、豊富なマルチタスクアノテーションを備えた、最大規模かつ包括的なSARベースの海洋オブジェクト検出データセットを構築すること。
• 分析準備済みのSAR画像、詳細なアノテーション、および補助的環境ラスタ（水深、風況）を公開することで、IUU漁業防止のための大規模な機械学習を可能にすること。
• xView3コンピュータビジョンチャレンジの開催を通じて、SAR特有のコンピュータビジョン技術分野におけるイノベーションを促進し、異分野研究を推進すること。
• 政府機関および非営利団体におけるAIツールの実用的導入を支援するため、オープンソースのコード、モデル、ツールキットを公開すること。

提案手法

• データセットは、自動的なAISからSARへのマッチングと熟練者による手動検証を組み合わせたハイブリッドラベリングアプローチにより構築された。
• 991枚のSAR画像はすべて、Sentinel-1ミッションから取得され、それぞれ約29,400 × 24,400ピクセルの解像度を有し、二重偏波（VVおよびVH）データを含む。
• アノテーションにはバウンディングボックス、船舶タイプ分類、長さ推定（ピクセル単位）が含まれており、ノイズが多く複雑なSAR背景における小型で希釈されたオブジェクトの検出に焦点を当てている。
• モデルの汎化性能と解釈可能性の向上を目的として、環境的文脈を提供するための共通位置の水深ラスタおよび風況ラスタが含まれている。
• スペックルのパターンを模倣するため、SAR特有の変換（ノイズ注入、フーリエ空間におけるアポダイゼーション）を組み込んだ、Albumentationsを拡張したカスタムデータ拡張パイプラインが開発された。
• xView3コンピュータビジョンチャレンジでは、マルチタスク問題としての船舶検出、分類、長さ回帰のベンチマークが実施され、トップモデルは単一段階アーキテクチャと不均衡クラス学習を活用していた。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ高解像度のSAR画像を、従来のAIS監視を回避する暗黒漁船の検出と特徴化に効果的に活用する方法は何か？
• RQ2 SAR画像固有のノイズおよびスペックル特性を考慮した場合、オブジェクト検出性能を向上させるために最も効果的なデータ拡張法およびモデルアーキテクチャ戦略は何か？
• RQ3 AISデータと熟練者による人為的検証を組み合わせたハイブリッドラベリング手法は、SAR画像における海洋オブジェクトに対して、信頼性が高くスケーラブルなアノテーションを生成できるか？
• RQ4 水深および風況の環境的文脈ラスタは、SARベースの船舶検出モデルの性能と耐性をどの程度向上させるか？
• RQ5 現在のディープラーニングモデルは、SARアーチファクトが顕著に現れる沿岸部付近の船舶検出において、どのような主な限界を示しているか？

主な発見

• xView3-SARは、これまでにない最大規模のSARベースの海洋オブジェクト検出データセットであり、991枚のフル解像度Sentinel-1 SAR画像をカバーし、合計4320万平方キロメートルにわたる範囲にわたり、243,018件の検証済み海洋オブジェクトが含まれる。
• データセットには、二重バンド（VVおよびVH）SAR画像に加え、共通位置の水深および風況ラスタが含まれており、モデル学習に不可欠な環境的文脈を提供している。
• xView3コンピュータビジョンチャレンジには世界中から参加があり、トップモデルはベースライン手法に比べて検出、分類、長さ推定の分野で顕著な性能向上を達成した。
• すべてのトップパフォーマンスモデルは、スペックルの低減と耐性向上を目的としたSAR特有のデータ拡張技術（ノイズ注入、フーリエ空間におけるアポダイゼーション）を採用していた。
• 技術的進歩にもかかわらず、すべてのモデルが沿岸部付近の船舶検出において困難を示した。これは、マルチパス効果や複雑な散乱によるアーチファクトが原因であり、依然として重要な未解決課題である。
• チャレンジから公開されたコード、モデル、ツールキットは、すでに政府機関およびNGOのパートナーが実運用に活用しており、実世界のIUU漁業防止活動を支援している。