[论文解读] Fish Tracking, Counting, and Behaviour Analysis in Digital Aquaculture: A Comprehensive Survey

Meng Cui, Xubo Liu+4 more|arXiv (Cornell University)|Jun 20, 2024

Water Quality Monitoring TechnologiesEnvironmental Science被引用 3

一句话总结

本篇全面综述回顾了数字水产养殖中基于视觉、声学和生物传感器的鱼类追踪、计数与行为分析方法，识别出关键挑战，如数据集有限和缺乏统一的评估标准。文章倡导采用多模态数据融合、深度学习以及追踪、计数与行为分析任务的联合建模，以提升系统在水产养殖环境中的鲁棒性、效率和实际适用性。

ABSTRACT

Digital aquaculture leverages advanced technologies and data-driven methods, providing substantial benefits over traditional aquaculture practices. This paper presents a comprehensive review of three interconnected digital aquaculture tasks, namely, fish tracking, counting, and behaviour analysis, using a novel and unified approach. Unlike previous reviews which focused on single modalities or individual tasks, we analyse vision-based (i.e. image- and video-based), acoustic-based, and biosensor-based methods across all three tasks. We examine their advantages, limitations, and applications, highlighting recent advancements and identifying critical cross-cutting research gaps. The review also includes emerging ideas such as applying multi-task learning and large language models to address various aspects of fish monitoring, an approach not previously explored in aquaculture literature. We identify the major obstacles hindering research progress in this field, including the scarcity of comprehensive fish datasets and the lack of unified evaluation standards. To overcome the current limitations, we explore the potential of using emerging technologies such as multimodal data fusion and deep learning to improve the accuracy, robustness, and efficiency of integrated fish monitoring systems. In addition, we provide a summary of existing datasets available for fish tracking, counting, and behaviour analysis. This holistic perspective offers a roadmap for future research, emphasizing the need for comprehensive datasets and evaluation standards to facilitate meaningful comparisons between technologies and to promote their practical implementations in real-world settings.

研究动机与目标

• 提供对数字水产养殖中鱼类监测当前技术的全面综述，整合基于视觉、声学和生物传感器的方法。
• 识别关键研究空白，包括综合性数据集的匮乏和缺乏统一的评估标准。
• 探索多模态数据融合与深度学习在提升鱼类监测系统准确性与鲁棒性方面的潜力。
• 倡导对追踪、计数与行为分析进行联合建模，以减少冗余并提高效率。
• 通过概述边缘计算、大型语言模型和通用人工智能等关键趋势，为未来研究提供指导。

提出的方法

• 过去二十年间对鱼类追踪、计数与行为分析方法的系统性文献回顾。
• 基于优势、局限性和应用场景，对基于视觉、声学和生物传感器的技术进行分类与对比分析。
• 识别并总结现有的公开鱼类监测数据集，以支持可复现性和基准测试。
• 评估新兴技术如多模态数据融合、深度学习和边缘计算在提升系统性能方面的潜力。
• 探索大型语言模型（LLMs）和通用人工智能（AGI）在整合多模态数据和生成可解释的行为洞察方面的应用。
• 提出一种追踪、计数与行为分析的联合建模框架，以利用任务间的共享特征并降低计算开销。

Figure 1: Fish trajectory under different frame rates.

实验结果

研究问题

• RQ1 在数字水产养殖中，鱼类追踪、计数与行为分析的当前最先进方法是什么？
• RQ2 基于视觉、声学和生物传感器的方法在准确性、鲁棒性和实际部署方面如何比较？
• RQ3 哪些技术和数据相关挑战阻碍了鱼类监测系统的发展？
• RQ4 多模态数据融合与深度学习如何提升真实水产养殖环境中鱼类监测的性能与可靠性？
• RQ5 大型语言模型与通用人工智能在推动智能鱼类监测与决策支持系统方面可发挥何种作用？

主要发现

• 基于视觉的方法应用广泛，但受限于光照不足、遮挡和图像噪声，尤其在复杂或动态环境中表现受限。
• 声学方法可在浑浊或低能见度条件下实现非侵入式监测，但面临高昂的硬件成本和在集约化水产养殖中扩展性有限的问题。
• 生物传感器可提供生理信息，但通常具有侵入性，且因需要标记而难以大规模部署。
• 缺乏标准化的评估协议和全面的公开数据集，仍是性能比较与模型泛化的主要障碍。
• 对追踪、计数与行为分析进行联合建模可借助任务间的共享特征，减少计算冗余，提升系统效率。
• 新兴技术如多模态融合、深度学习以及大型语言模型的集成，展现出显著潜力，可构建更自适应、智能且可扩展的鱼类监测系统。

Figure 2: Fish tracking method based on YoloV5 and SiamRPN++ [ 61 ] .