[論文レビュー] FathomNet: A global underwater image training set for enabling artificial intelligence in the ocean

Kakani Katija, Eric C. Orenstein+7 more|arXiv (Cornell University)|Sep 29, 2021

Underwater Acoustics Research参考文献 24被引用数 6

ひとこと要約

FathomNet は、MBARI、NOAA、National Geographic から得た専門家がキュレートした海洋視覚データを集約した公開で標準化された水中画像データセットであり、機械学習モデルが多様な海洋プラットフォームで海洋生物やごみの自動検出および追跡を可能にする。このデータセットには、1,000種のミッドウォーターおよびベントスクラスにわたる10万件を超える局所化情報が含まれており、ROV やカメラシステムのデータに対して訓練されたモデルが自動分析に成功している。

ABSTRACT

Ocean-going platforms are integrating high-resolution camera feeds for observation and navigation, producing a deluge of visual data. The volume and rate of this data collection can rapidly outpace researchers' abilities to process and analyze them. Recent advances in machine learning enable fast, sophisticated analysis of visual data, but have had limited success in the oceanographic world due to lack of dataset standardization, sparse annotation tools, and insufficient formatting and aggregation of existing, expertly curated imagery for use by data scientists. To address this need, we have built FathomNet, a public platform that makes use of existing (and future), expertly curated data. Initial efforts have leveraged MBARI's Video Annotation and Reference System and annotated deep sea video database, which has more than 7M annotations, 1M framegrabs, and 5k terms in the knowledgebase, with additional contributions by National Geographic Society (NGS) and NOAA's Office of Ocean Exploration and Research. FathomNet has over 100k localizations of 1k midwater and benthic classes, and contains iconic and non-iconic views of marine animals, underwater equipment, debris, etc. We will demonstrate how machine learning models trained on FathomNet data can be applied across different institutional video data, (e.g., NGS' Deep Sea Camera System and NOAA's ROV Deep Discoverer), and enable automated acquisition and tracking of midwater animals using MBARI's ROV MiniROV. As FathomNet continues to develop and incorporate more image data from other oceanographic community members, this effort will enable scientists, explorers, policymakers, storytellers, and the public to understand and care for our ocean.

研究の動機と目的

• 海洋学における機械学習モデルの学習に向けた標準化され、アノテーションが施された水中画像データセットの不足に対処すること。
• MBARI、NOAA、National Geographic から既存の専門家がキュレートした海洋画像を統合・構造化し、統一的でアクセス可能なプラットフォームを構築すること。
• FathomNet で訓練された AI を用いて、海洋生物、機器、ごみの自動検出および追跡を可能にすること。
• 研究者、探検家、政策立案者が、スケーラブルでデータドリブンな分析を通じて海洋エコシステムをモニタリングできるように支援すること。

提案手法

• MBARI の Video Annotation and Reference System を活用し、深海映像データから 700万件のアノテーション、100万件のフレームグラブ、5,000語の用語を抽出・標準化した。
• NOAA の Ocean Exploration and Research 局および National Geographic Society の貢献を統合し、データセットの多様性とカバー範囲を拡大した。
• 深層学習フレームワークとの互換性を確保するため、標準化されたクラスラベル、バウンディングボックスアノテーション、メタデータを用いてデータセットを構造化した。
• FathomNet で訓練したモデルを異なるプラットフォームに展開することで、モデルの移植性を実現した。具体的には、MBARI の MiniROV や NOAA の ROV Deep Discoverer に適用した。
• 将来的に海洋学コミュニティ全体からの貢献を可能にする拡張性を備えたプラットフォームを設計した。
• 共同研究を支援するため、データ発見、可視化、モデル評価のツールを提供した。

実験結果

リサーチクエスチョン

• RQ1 標準化され、公開可能な水中画像データセットは、海洋環境における AI モデルの性能と一般化能力を向上させることができるか？
• RQ2 FathomNet で訓練されたモデルは、異なる ROV やカメラシステムにおいて、ミッドウォーターおよびベントスの海洋生物をどの程度効果的に検出・追跡できるか？
• RQ3 データセットの多様性と専門家によるキュレートは、海洋両生類、機器、ごみの識別におけるモデルの正確性をどの程度向上させるか？
• RQ4 FathomNet は、潜水艦のリアルタイム映像ストリームにおいて、難儀なミッドウォーター動物の自動追跡を可能にするか？

主な発見

• FathomNet には、象徴的でない海洋生物やオブジェクトを含む、1,000種の異なるミッドウォーターおよびベントスクラスの10万件を超える局所化情報が含まれている。
• データセットには、MBARI の深海映像データベースから得た 700万件を超えるアノテーション、100万件のフレームグラブ、5,000語の用語に加え、NOAA および National Geographic からの追加貢献が統合されている。
• FathomNet で訓練された機械学習モデルは、MBARI の ROV MiniROV を用いたミッドウォーター動物の自動取得および追跡を成功させた。
• 訓練済みモデルは、NGS の Deep Sea Camera System や NOAA の ROV Deep Discoverer のデータに対しても、効果的に機能することが確認された。
• プラットフォームは、スケーラブルで協働的なデータ共有とモデル開発を支援し、海洋 AI 研究における再現性とインパクトを高めている。
• FathomNet の標準化された構造と専門家によるキュレートは、データサイエンティストおよび海洋学者の両者にとっての参入障壁を顕著に低減している。