[論文レビュー] The Fishnet Open Images Database: A Dataset for Fish Detection and Fine-Grained Categorization in Fisheries

Justin Kay, Matt Merrifield|arXiv (Cornell University)|Jun 16, 2021

Water Quality Monitoring Technologies参考文献 27被引用数 13

ひとこと要約

Fishnet Open Images Database は、商業的長網トロール漁船の電子モニタリングシステムから得られた 86,029 枚の画像を含む大規模かつ公開可能なデータセットであり、34 種の魚類が含まれ、検出および細分化分類のためのバウンディングボックスがアノテートされている。長尾分布、種間の視覚的類似性、過酷な環境条件といった顕著な課題を有しており、最新のコンピュータビジョンモデルが検出および分類タスクにおいて中程度のパフォーマンスを示す、漁業モニタリング分野におけるベンチマークとして機能する。

ABSTRACT

Camera-based electronic monitoring (EM) systems are increasingly being deployed onboard commercial fishing vessels to collect essential data for fisheries management and regulation. These systems generate large quantities of video data which must be reviewed on land by human experts. Computer vision can assist this process by automatically detecting and classifying fish species, however the lack of existing public data in this domain has hindered progress. To address this, we present the Fishnet Open Images Database, a large dataset of EM imagery for fish detection and fine-grained categorization onboard commercial fishing vessels. The dataset consists of 86,029 images containing 34 object classes, making it the largest and most diverse public dataset of fisheries EM imagery to-date. It includes many of the characteristic challenges of EM data: visual similarity between species, skewed class distributions, harsh weather conditions, and chaotic crew activity. We evaluate the performance of existing detection and classification algorithms and demonstrate that the dataset can serve as a challenging benchmark for development of computer vision algorithms in fisheries. The dataset is available at https://www.fishnet.ai/.

研究の動機と目的

• 商業漁業における魚類検出および分類のための、公開可能で大規模な電子モニタリング（EM）画像の不足に対処すること。
• 視覚的類似性、長尾分布、低視認性状態といった実世界の課題を反映したベンチマークデータセットを構築すること。
• 漁業における挑戦的な環境的・運用的条件下での、細分化視覚分類、ドメイン適応、オブジェクト検出分野における研究を可能にすること。
• 手動レビューに依存するのを減らし、漁業管理を改善するために、EM動画データのスケーラブルかつ自動化された分析を支援すること。

提案手法

• データセットは、西・中央太平洋における長網トロール漁船の 73 台の電子モニタリングカメラから収集され、タイムスタンプと種レベルのアノテーションを用いて動画セグメントが抽出された。
• 画像は 1 秒ごとにサンプリングされ、バウンディングボックスは専門のアノテーター（Sama 会社）によってラベル付けされ、複数魚種画像では画像レベルのラベルからの誤りを是正するための手動レビューが実施された。
• 個人を特定できる情報（人間の顔のぼやけ、船に特有の識別子の除外など）を含まないようデータセットがキュレートされた。
• 34 個のオブジェクトクラスにまたがる 86,029 枚の画像と 406,463 個のバウンディングボックスを含み、細分化分類のための階層的ラベル（L1 および L2）に分類されたラベルが用意された。
• オブジェクト検出には YOLOv5 および Faster R-CNN モデル、画像分類には Inception-V3 モデルを用いてベンチマーク評価が実施され、既知のカメラ vs. 未知のカメラ、マグロ vs. 非マグロのサブセットを対象とした評価が行われた。
• データ拡張技術には、ランダムな水平反転、回転、ズーム、照明・コントラスト調整が、分類学習中に適用された。

実験結果

リサーチクエスチョン

• RQ1 長尾分布と困難な視覚的条件を有する大規模で実世界の漁業 EM データセットにおいて、既存のオブジェクト検出モデルはどの程度の性能を示すか？
• RQ2 特に、未確認のカメラでテストすることによるドメインシフトが、漁業 EM 画像における検出および分類パフォーマンスにどの程度の影響を及えるか？
• RQ3 漁業 EM データの文脈において、細分化分類の難易度はオブジェクト局在化の難易度と比べてどの程度高いか？
• RQ4 ラベルの粒度（L1 対 L2）が、特に希少種と一般的な種において検出および分類パフォーマンスに与える影響は何か？
• RQ5 このデータセットで学習したモデルは、新しい環境に一般化可能か？また、強力なドメイン適応を達成するにあたり、主な課題は何か？

主な発見

• 最新の検出モデルは、L1 ラベルセットでは平均平均適合率（mAP）が 0.355、L2 ラベルセットでは 0.378 を達成し、種間の視覚的類似性が著しい困難なデータセットにおいて中程度のパフォーマンスを示した。
• 粗いラベル（L2）で学習したモデルは、細かいラベル（L1）で学習したモデルよりもわずかに高いパフォーマンスを示し、ラベルの粒度がモデルの一般化性能に影響を与えることが示唆された。
• 未確認のカメラでテストした際、特に検出タスクにおいてパフォーマンスが著しく低下し、実世界の漁業 EM データに強いドメインシフト効果があることが明らかになった。
• 分類モデルは L1 セットでトップ-1 正解率 81.2%、L2 セットで 82.1% を達成したが、マグロ以外の種ではマグロ種より 7% 以上低い正解率を示し、長尾分布の課題が顕著に現れた。
• 1 種類および 2 種類のラベルセットで学習したモデルは、複数種類のラベルセットで学習したモデルよりも、未確認のカメラへの一般化性能が優れており、ドメイン適応において分類が局在化よりも大きな課題であることが示唆された。
• このデータセットは、特にドメインシフト下において、検出パフォーマンスの主なボトル neck は局在化の難易度ではなく、分類の難易度であることを明らかにした。