[論文レビュー] FathomNet: A global image database for enabling artificial intelligence in the ocean

Kakani Katija, Eric C. Orenstein+9 more|arXiv (Cornell University)|Sep 29, 2021

Underwater Vehicles and Communication Systems被引用数 7

ひとこと要約

FathomNet は、海洋科学における人工知能を可能にするために、標準化され、キュレート済みのラベル付水中画像を統合するオープンソースで世界的にアクセス可能な画像データベースです。動物、ごみ、機器を含む多様な海洋データを統合することで、アノテーションの負担を軽減し、ロボットプラットフォームと統合された場合、自動水中モニタリングのための AI モデルのトレーニングを加速します。

ABSTRACT

The ocean is experiencing unprecedented rapid change, and visually monitoring marine biota at the spatiotemporal scales needed for responsible stewardship is a formidable task. As baselines are sought by the research community, the volume and rate of this required data collection rapidly outpaces our abilities to process and analyze them. Recent advances in machine learning enables fast, sophisticated analysis of visual data, but have had limited success in the ocean due to lack of data standardization, insufficient formatting, and demand for large, labeled datasets. To address this need, we built FathomNet, an open-source image database that standardizes and aggregates expertly curated labeled data. FathomNet has been seeded with existing iconic and non-iconic imagery of marine animals, underwater equipment, debris, and other concepts, and allows for future contributions from distributed data sources. We demonstrate how FathomNet data can be used to train and deploy models on other institutional video to reduce annotation effort, and enable automated tracking of underwater concepts when integrated with robotic vehicles. As FathomNet continues to grow and incorporate more labeled data from the community, we can accelerate the processing of visual data to achieve a healthy and sustainable global ocean.

研究の動機と目的

• 海洋環境における堅牢な AI モデルをトレーニングするための、標準化され、大規模でラベル付きの水中画像データセットが極めて不足しているという重要な課題に対処すること。
• 複数のソースからの既存の海洋画像を統合・キュレートすることで、海洋視覚データのスケーラブルで自動化された分析を可能にすること。
• AI モデルのトレーニングに再利用可能でコミュニティが拡張可能なデータセットを提供することで、水中研究における手動アノテーション作業の負担を軽減すること。
• 自律型水中ドリル（AUV）やロボットシステムと統合することで、リアルタイムで自動的に海洋概念を追跡することを可能にすること。
• 拡大する標準化された海洋画像データベースへの分散型貢献を可能にすることで、グローバルな協力を促進すること。

提案手法

• FathomNet は、複数の機関やソースから、海洋生物、水中機器、ごみ、その他の海洋的要因の、エキスパートがキュレートしたラベル付き画像を統合しています。
• 一貫したメタデータ、ラベル形式、分類体系を用いることで、データの標準化を実施し、AI モデル間での相互運用性を確保しています。
• 将来的なグローバル研究機関および市民科学者からの貢献を可能にするモジュラで拡張可能なアーキテクチャを採用しています。
• FathomNet データセットで事前学習された AI モデルを提供することで、転移学習を可能にし、その後、機関固有の動画データで微調整できるようにしています。
• ロボットプラットフォームと統合することで、水中調査中のリアルタイム推論と自動的コンセプト追跡を実現しています。
• 再現性とコミュニティ参加を確保するため、バージョン管理付きのオープンアクセスフレームワーク（Zenodo および GitHub にホスティング）を採用しています。

実験結果

リサーチクエスチョン

• RQ1 標準化され、世界的にアクセス可能な画像データベースは、海洋視覚分析における AI モデルのスケーラビリティと正確性をどのように向上させるか？
• RQ2 FathomNet で事前学習されたモデルを、新しい機関固有の水中動画データセットに適用した場合、アノテーション時間はどの程度短縮できるか？
• RQ3 FathomNet を活用した AI モデルは、自律型水中作業において、リアルタイムで自動的に海洋生物および人為的ごみを検出・追跡できるか？
• RQ4 データの多様性とキュレート品質は、FathomNet でトレーニングされた AI モデルの一般化性能にどのような影響を与えるか？
• RQ5 コミュニティ主導の貢献は、海洋画像データベースの長期的有用性をどのように維持・拡張できるか？

主な発見

• FathomNet は、象徴的でない種も含む多様なラベル付き海洋画像（代表的・非代表的種、機器、環境的特徴など）を効果的に統合・標準化しています。
• FathomNet で事前学習されたモデルを用いることで、新しい動画データセットへの手動アノテーション時間の顕著な短縮が可能になっています。
• FathomNet でトレーニングされたモデルをロボット車両と統合することで、現場での展開時に、水中コンセプトの自動的でリアルタイムの追跡が実現しています。
• FathomNet のオープンで拡張可能な設計は、継続的なコミュニティ貢献を可能にし、データセットの持続的成長と関連性を確保しています。
• 中央集権的で標準化されたリソースを提供することで、FathomNet は海洋モニタリングおよび保護のための AI ツールの開発と展開を加速しています。
• 本データセットは、複数の研究機関で採用されており、多様な海洋研究用途における実用性と相互運用性を示しています。