[論文レビュー] FathomNet: An underwater image training database for ocean exploration and discovery

Océane Boulais, Ben Woodward+5 more|arXiv (Cornell University)|Jun 30, 2020

Underwater Vehicles and Communication Systems参考文献 12被引用数 13

ひとこと要約

FathomNet は、233 クラスにわたる 80,000 枚以上の画像と 106,000 件の局所化を含む大規模で専門家がアノテートした水中画像データベースを提案し、自動海洋探査のためのディーブラーニングを加速することを目的としています。物体検出、分類、弱教師あり局所化を可能にし、一般化性能や分布外耐性を高めるためにより多くのデータが必要であるものの、有望な結果を示しています。

ABSTRACT

Thousands of hours of marine video data are collected annually from remotely operated vehicles (ROVs) and other underwater assets. However, current manual methods of analysis impede the full utilization of collected data for real time algorithms for ROV and large biodiversity analyses. FathomNet is a novel baseline image training set, optimized to accelerate development of modern, intelligent, and automated analysis of underwater imagery. Our seed data set consists of an expertly annotated and continuously maintained database with more than 26,000 hours of videotape, 6.8 million annotations, and 4,349 terms in the knowledge base. FathomNet leverages this data set by providing imagery, localizations, and class labels of underwater concepts in order to enable machine learning algorithm development. To date, there are more than 80,000 images and 106,000 localizations for 233 different classes, including midwater and benthic organisms. Our experiments consisted of training various deep learning algorithms with approaches to address weakly supervised localization, image labeling, object detection and classification which prove to be promising. While we find quality results on prediction for this new dataset, our results indicate that we are ultimately in need of a larger data set for ocean exploration.

研究の動機と目的

• 手動による動画レビューによる海洋データ分析のボトル neck を解消するため、水中画像用のスケーラブルで専門家がアノテートした学習データセットを構築すること。
• 水中環境におけるリアルタイムの物体検出、分類、局所化のためのディーブラーニングモデルの開発を加速すること。
• 標準化され、継続的にメンテナンスされるデータセットを提供することで、ROV や潜水艇の動画データの自動分析を可能にすること。
• 分類のスケーラビリティと正確性を向上させるために、階層的およびマルチラベルアノテーションワークフローを支援すること。
• オープンデータ共有と低コスト技術の統合を通じて、特に代表が不十分なグローバルコミュニティに海洋学的データとツールへのアクセスを民主化すること。

提案手法

• 26,000 時間を超える ROV 動画からデータセットを構築し、VARS システムを用いて画像レベルのラベルとバウンディングボックスを含むフレームグラブを抽出・アノテートした。
• アノテーション頻度に基づき、上位 18 種のミッドウォーターおよび 17 種のベントヒックス属に加え、3 種の地質的特徴を選び、FathomNet のコアクラスを形成した。
• 弱教師あり局所化を用いて初期のバウンディングボックス候補を生成し、その後専門家による手動での確認と修正を経て、アノテーションの効率を向上させた。
• 一般化性能を高めるために、データシフトやスケール変動に強いように、標準的な CNN アーキテクチャを用いてディーブラーニングモデルを学習した。
• 階層的ラベリング戦略を開発し、粗い分類レベルから始め、少サンプル学習を用いてより細分化された分類に段階的に向上させるマルチステージモデルを可能にした。
• インスタンスおよびセマンティックセグメンテーションタスクをサポートするための今後の拡張として、セグメンテーションマスクとマルチラベルアノテーションを検討した。

実験結果

リサーチクエスチョン

• RQ1 大規模で専門家がアノテートした水中画像データセットは、自動物体検出および分類モデルの開発を顕著に加速できるか？
• RQ2 弱教師あり局所化技術は、海洋生物の検出精度を維持しつつ、アノテーション時間の短縮にどの程度効果的か？
• RQ3 現実の ROV デプロイメントにおけるスケール、視点、背景の変化といったデータシフトに対して、現在のデータセットはどの程度一般化性能を示せるか？
• RQ4 階層的および少サンプル学習アプローチは、希少または新たに発見された海洋生物の分類アノテーションのスケーラビリティを向上させられるか？
• RQ5 高解像度の海洋画像とメタデータを公開することの海洋保護への影響は何か？ また、不正利用をどのように緩和できるか？

主な発見

• FathomNet には 233 の異なるクラスにわたる 80,000 枚以上の画像と 106,000 件の局所化が含まれており、ミッドウォーターおよびベントヒックス生物を含む。VARS 知識ベースには 680 万件を超えるアノテーションが蓄積されている。
• ディーブラーニングモデルを用いた実験により、物体検出、分類、弱教師あり局所化の分野で有望なパフォーマンスが得られ、このデータセットがベースラインとしての有効性を裏付けた。
• 強力な初期結果が得られたものの、本研究では現在のデータ量では分布シフトや分布外一般化を完全に解消できないことが判明し、大規模データの必要性が強調された。
• 階層的ラベリングと少サンプル学習の活用は、希少または新たに発見された種の分類アノテーションを加速させる可能性を示した。
• セグメンテーションとマルチラベルアノテーションワークフローは、今後の重要なステップであると特定されたが、これらのタスクのためのデータ収集は依然として大きなボトル neck である。
• 本プロジェクトは、不正な採捕などへの利用を防ぐためにも、メタデータのキュレーションの重要性を強調しており、海洋研究におけるオープンアクセスとグローバルな公平性の促進に貢献している。