[论文解读] Computer Vision and Deep Learning for Fish Classification in Underwater Habitats: A Survey

Alzayat Saleh, Marcus Sheaves+1 more|arXiv (Cornell University)|Mar 14, 2022

Water Quality Monitoring Technologies参考文献 143被引用 111

一句话总结

本综述综合了2003年至2021年间计算机视觉与深度学习在水下鱼类分类中的应用，分析了基于卷积神经网络（CNN）的方法、如能见度差和类别相似性等挑战，以及迁移学习的解决方案。该综述全面概述了最先进技术，指出了关键局限性，并为自动化海洋监测提出了未来研究方向。

ABSTRACT

Marine scientists use remote underwater video recording to survey fish species in their natural habitats. This helps them understand and predict how fish respond to climate change, habitat degradation, and fishing pressure. This information is essential for developing sustainable fisheries for human consumption, and for preserving the environment. However, the enormous volume of collected videos makes extracting useful information a daunting and time-consuming task for a human. A promising method to address this problem is the cutting-edge Deep Learning (DL) technology.DL can help marine scientists parse large volumes of video promptly and efficiently, unlocking niche information that cannot be obtained using conventional manual monitoring methods. In this paper, we provide an overview of the key concepts of DL, while presenting a survey of literature on fish habitat monitoring with a focus on underwater fish classification. We also discuss the main challenges faced when developing DL for underwater image processing and propose approaches to address them. Finally, we provide insights into the marine habitat monitoring research domain and shed light on what the future of DL for underwater image processing may hold. This paper aims to inform a wide range of readers from marine scientists who would like to apply DL in their research to computer scientists who would like to survey state-of-the-art DL-based underwater fish habitat monitoring literature.

研究动机与目标

• 应对由于水下视频数据量巨大，海洋生态系统中自动化、可扩展鱼类监测的日益增长需求。
• 识别并分析水下鱼类分类中的关键挑战，包括水体能见度差、物种高度相似、遮挡以及背景杂乱。
• 综述并整合应用于水下环境中鱼类物种识别的最先进技术深度学习方法，特别是卷积神经网络（CNN）和迁移学习。
• 强调深度学习在海洋科学中尚未被充分应用，并倡导将其整合到生态监测系统中。
• 为海洋科学家和生态学家提供深度学习概念与应用的实用、高层次指南，以支持可持续渔业和保护工作。

提出的方法

• 对2003年至2021年期间使用计算机视觉与深度学习进行鱼类分类的同行评审研究进行了系统性文献回顾。
• 对关键深度学习架构，特别是卷积神经网络（CNN）在图像和视频鱼类识别中的应用进行了分类与分析。
• 评估了迁移学习策略，即在水下鱼类数据集上微调预训练模型（如ImageNet）以应对数据稀缺问题。
• 回顾了处理域偏移的技术，包括数据增强、域自适应和自监督学习。
• 讨论了实例分割和语义分割模型（如全卷积网络FCNs、U-Net变体）在复杂场景中实现精确鱼类定位与计数的作用。
• 综合分析了各研究中模型性能、数据集特征及评估指标的表现。

实验结果

研究问题

• RQ1 在水下环境中，哪些深度学习架构在鱼类分类中最为有效，与传统计算机视觉方法相比表现如何？
• RQ2 在应用深度学习进行水下鱼类监测时，面临的主要技术和环境挑战是什么，如何加以缓解？
• RQ3 在有限的水下鱼类数据集上进行训练时，迁移学习如何提升模型性能？
• RQ4 自监督学习与弱监督学习在降低水下鱼类分类中人工标注成本方面发挥什么作用？
• RQ5 在大规模海洋栖息地监测中部署深度学习时，存在哪些关键空白与未来研究方向？

主要发现

• 深度学习模型，特别是卷积神经网络（CNN），在复杂水下条件下显著优于传统计算机视觉方法，在鱼类分类准确性和鲁棒性方面表现更优。
• 使用预训练模型（如ResNet、DenseNet）进行迁移学习，即使在标注数据有限的情况下也能实现高性能，显著减少训练时间与数据需求。
• 数据增强技术（如颜色抖动、随机裁剪、Mixup）可提升模型在低能见度和光照变化多端的水下环境中的泛化能力。
• 实例分割模型（如Mask R-CNN和U-Net变体）在拥挤或遮挡严重的场景中，仍能实现高精度的个体鱼类检测与计数。
• 自监督学习与基于不确定性的正则化学习方法在减少对大规模标注数据集的依赖方面展现出潜力，增强了模型在真实部署中的鲁棒性。
• 尽管已取得进展，模型在多样化海洋栖息地中的泛化能力、形态高度相似的物种识别，以及动态水下光照与浊度变化条件下的表现仍面临挑战。