[论文解读] FathomNet: A global underwater image training set for enabling artificial intelligence in the ocean

Kakani Katija, Eric C. Orenstein+7 more|arXiv (Cornell University)|Sep 29, 2021

Underwater Acoustics Research参考文献 24被引用 6

一句话总结

FathomNet 是一个公开的、标准化的水下图像数据集，汇集了来自 MBARI、NOAA 和国家地理学会的专家精心整理的海洋视觉数据，使机器学习模型能够自动检测和追踪各类海洋平台上的海洋生物和漂浮物。该数据集包含超过 100,000 个定位点，覆盖 1,000 种中层水域和海底生物类别，训练好的模型已成功应用于 ROV 和摄像系统数据，实现自动化分析。

ABSTRACT

Ocean-going platforms are integrating high-resolution camera feeds for observation and navigation, producing a deluge of visual data. The volume and rate of this data collection can rapidly outpace researchers' abilities to process and analyze them. Recent advances in machine learning enable fast, sophisticated analysis of visual data, but have had limited success in the oceanographic world due to lack of dataset standardization, sparse annotation tools, and insufficient formatting and aggregation of existing, expertly curated imagery for use by data scientists. To address this need, we have built FathomNet, a public platform that makes use of existing (and future), expertly curated data. Initial efforts have leveraged MBARI's Video Annotation and Reference System and annotated deep sea video database, which has more than 7M annotations, 1M framegrabs, and 5k terms in the knowledgebase, with additional contributions by National Geographic Society (NGS) and NOAA's Office of Ocean Exploration and Research. FathomNet has over 100k localizations of 1k midwater and benthic classes, and contains iconic and non-iconic views of marine animals, underwater equipment, debris, etc. We will demonstrate how machine learning models trained on FathomNet data can be applied across different institutional video data, (e.g., NGS' Deep Sea Camera System and NOAA's ROV Deep Discoverer), and enable automated acquisition and tracking of midwater animals using MBARI's ROV MiniROV. As FathomNet continues to develop and incorporate more image data from other oceanographic community members, this effort will enable scientists, explorers, policymakers, storytellers, and the public to understand and care for our ocean.

研究动机与目标

• 解决海洋学领域缺乏标准化、带标注的水下图像数据集以训练机器学习模型的问题。
• 整合并结构化来自 MBARI、NOAA 和国家地理学会的现有专家标注的海洋影像，构建统一、可访问的平台。
• 利用在数据集上训练的 AI 模型，实现对海洋生物、设备和漂浮物的自动检测与追踪。
• 支持研究人员、探险家和政策制定者通过可扩展、数据驱动的分析手段监测海洋生态系统。

提出的方法

• 利用 MBARI 的视频标注与参考系统，提取并标准化了来自深海视频数据的 700 万个标注、100 万个帧截图和 5,000 个术语。
• 整合了 NOAA 海洋探索与研究办公室以及国家地理学会的贡献，以扩展数据集的多样性与覆盖范围。
• 通过标准化的类别标签、边界框标注和元数据结构化数据集，确保与深度学习框架的兼容性。
• 通过在 FathomNet 上训练模型并在多种平台（包括 MBARI 的 MiniROV 和 NOAA 的 ROV Deep Discoverer）上部署，实现模型的可迁移性。
• 设计平台时考虑可扩展性，支持海洋学界更广泛群体的未来数据贡献。
• 提供数据发现、可视化和模型评估工具，以支持协作研究。

实验结果

研究问题

• RQ1 一个标准化的、公开可访问的水下图像数据集，能否提升人工智能模型在海洋环境中的性能与泛化能力？
• RQ2 在 FathomNet 上训练的模型，能否有效检测和追踪不同 ROV 和摄像系统中的中层水域与海底生物？
• RQ3 数据集的多样性与专家标注在多大程度上提升了模型识别海洋动物、设备和漂浮物的准确性？
• RQ4 FathomNet 是否能够实现实时视频流中对难以捉摸的中层水域动物的自动化追踪？

主要发现

• FathomNet 包含超过 100,000 个定位点，涵盖 1,000 种不同的中层水域和海底类别，包括标志性与非标志性海洋物种及物体。
• 该数据集整合了来自 MBARI 深海视频数据库的 700 多万个标注、100 万个帧截图和 5,000 个术语，并获得了 NOAA 和国家地理学会的额外贡献。
• 在 FathomNet 上训练的机器学习模型成功实现了使用 MBARI 的 ROV MiniROV 自动获取和追踪中层水域动物。
• 训练后的模型在 NGS 的深海摄像系统和 NOAA 的 ROV Deep Discoverer 数据上均表现出良好的跨机构适用性。
• 该平台支持可扩展的协作式数据共享与模型开发，显著提升了海洋人工智能研究的可重复性与影响力。
• FathomNet 的标准化结构与专家标注显著降低了数据科学家与海洋学家的入门门槛。