[论文解读] FathomNet: A global image database for enabling artificial intelligence in the ocean

Kakani Katija, Eric C. Orenstein+9 more|arXiv (Cornell University)|Sep 29, 2021

Underwater Vehicles and Communication Systems被引用 7

一句话总结

FathomNet 是一个开源、全球可访问的图像数据库，通过标准化并整合专家精心筛选、标注的水下图像，推动海洋科学中的人工智能应用。通过汇集涵盖动物、垃圾和设备等多种海洋数据，该数据库可减轻标注负担，并在与机器人平台集成时加速人工智能模型的训练，实现水下监测的自动化。

ABSTRACT

The ocean is experiencing unprecedented rapid change, and visually monitoring marine biota at the spatiotemporal scales needed for responsible stewardship is a formidable task. As baselines are sought by the research community, the volume and rate of this required data collection rapidly outpaces our abilities to process and analyze them. Recent advances in machine learning enables fast, sophisticated analysis of visual data, but have had limited success in the ocean due to lack of data standardization, insufficient formatting, and demand for large, labeled datasets. To address this need, we built FathomNet, an open-source image database that standardizes and aggregates expertly curated labeled data. FathomNet has been seeded with existing iconic and non-iconic imagery of marine animals, underwater equipment, debris, and other concepts, and allows for future contributions from distributed data sources. We demonstrate how FathomNet data can be used to train and deploy models on other institutional video to reduce annotation effort, and enable automated tracking of underwater concepts when integrated with robotic vehicles. As FathomNet continues to grow and incorporate more labeled data from the community, we can accelerate the processing of visual data to achieve a healthy and sustainable global ocean.

研究动机与目标

• 解决当前在海洋环境中训练稳健人工智能模型所面临的标准化、大规模、标注水下图像数据集严重缺乏的关键问题。
• 通过整合并整理来自不同来源的现有海洋图像，实现对海洋视觉数据的可扩展、自动化分析。
• 通过提供一个可重复使用、社区可扩展的数据集，减少水下研究中的手动标注工作量，用于训练人工智能模型。
• 通过与自主水下航行器和机器人系统集成，支持实时、自动化的海洋概念追踪。
• 通过支持全球协作，实现对不断增长的标准化海洋图像数据库的分布式贡献。

提出的方法

• FathomNet 汇集了来自多个机构和来源的现有专家标注的海洋生物、水下设备、垃圾及其他海洋概念的图像。
• 通过一致的元数据、标注格式和分类体系，强制实施数据标准化，确保人工智能模型之间的互操作性。
• 采用模块化、可扩展的架构，支持全球研究机构和公民科学家的未来数据贡献。
• 通过支持迁移学习，使人工智能模型可在 FathomNet 数据集上进行预训练，随后在机构特定的视频数据上进行微调。
• 系统与机器人平台集成，实现在水下调查过程中实时推理和自动化概念追踪。
• 采用版本控制、开放访问的框架（托管于 Zenodo 和 GitHub），确保可复现性并促进社区参与。

实验结果

研究问题

• RQ1 标准化、全球可访问的图像数据库在多大程度上能提升人工智能模型在海洋视觉分析中的可扩展性和准确性？
• RQ2 在应用于新的、机构特定的水下视频数据集时，FathomNet 上预训练的模型能在多大程度上减少标注时间？
• RQ3 FathomNet 支持的人工智能模型是否能实现在自主水下作业中对海洋生物和人为垃圾的实时、自动化检测与追踪？
• RQ4 数据多样性与数据整理质量对在 FathomNet 上训练的人工智能模型泛化性能有何影响？
• RQ5 如何通过社区驱动的贡献来维持并扩展海洋图像数据库的长期实用性？

主要发现

• FathomNet 有效汇聚并标准化了多样化标注的海洋图像集合，涵盖标志性与非标志性物种、设备及环境特征。
• 该数据库通过允许将 FathomNet 预训练模型迁移至新视频数据集，显著减少了人工标注时间。
• 将 FathomNet 训练的模型与无人水下航行器集成，可在实地部署中实现对水下概念的自动化、实时追踪。
• FathomNet 开放且可扩展的设计支持持续的社区贡献，确保数据集的长期增长与相关性。
• 通过提供集中化、标准化的资源，FathomNet 加速了海洋监测与保护领域人工智能工具的开发与部署。
• 该数据集已被多个研究机构采纳，证明其在多样化海洋研究应用中的实用性与互操作性。