[论文解读] Automatic Controlling Fish Feeding Machine using Feature Extraction of Nutriment and Ripple Behavior

Hilmil Pradana, Keiichi Horio|arXiv (Cornell University)|Aug 15, 2022

Water Quality Monitoring Technologies被引用 4

一句话总结

本文提出了一种基于计算机视觉的自动鱼类投喂控制系统，通过追踪营养物质并分析涟漪行为实现优化投喂。通过结合目标检测/跟踪与纹理特征提取以估算涟漪，该方法在实时性能上达到3.86 fps，相较于现有最先进方法在小尺寸密集营养物质追踪任务中表现出更优的速度与精度，适用于水产养殖环境。

ABSTRACT

Controlling fish feeding machine is challenging problem because experienced fishermen can adequately control based on assumption. To build robust method for reasonable application, we propose automatic controlling fish feeding machine based on computer vision using combination of counting nutriments and estimating ripple behavior using regression and textural feature, respectively. To count number of nutriments, we apply object detection and tracking methods to acknowledge the nutriments moving to sea surface. Recently, object tracking is active research and challenging problem in computer vision. Unfortunately, the robust tracking method for multiple small objects with dense and complex relationships is unsolved problem in aquaculture field with more appearance creatures. Based on the number of nutriments and ripple behavior, we can control fish feeding machine which consistently performs well in real environment. Proposed method presents the agreement for automatic controlling fish feeding by the activation graphs and textural feature of ripple behavior. Our tracking method can precisely track the nutriments in next frame comparing with other methods. Based on computational time, proposed method reaches 3.86 fps while other methods spend lower than 1.93 fps. Quantitative evaluation can promise that proposed method is valuable for aquaculture fish farm with widely applied to real environment.

研究动机与目标

• 为解决水产养殖中鱼类投喂不一致的问题，该问题占生产成本高达40%。
• 通过实现精确、自动化的投喂控制，减少营养物质浪费与水体污染。
• 开发一种在复杂、动态水产养殖环境中可靠运行的鲁棒实时系统。
• 克服现有机械传感器与实验室环境下的计算机视觉方法在真实条件下的局限性。
• 通过从营养物质运动与涟漪动力学中提取特征，提升投喂效率。

提出的方法

• 使用基于YOLOv3的目标检测与跟踪技术，识别并追踪视频帧中微小且快速移动的营养物质。
• 应用回归模型，基于追踪到的位置与运动信息估算营养物质数量。
• 采用纹理特征提取（如GLCM）检测并分析水面涟漪行为，作为投喂活动的指示信号。
• 结合营养物质计数与涟漪强度数据，自动触发并控制鱼类投喂装置。
• 整合轨迹映射与运动一致性分析，提升对多个微小物体在高密度交互情况下的跟踪鲁棒性。
• 采用自定义基准评估框架，基于真实水产养殖视频数据对比本方法与JDE、SORT及轨迹映射方法的性能表现。

实验结果

研究问题

• RQ1 在复杂水产养殖条件下，计算机视觉系统能否在真实时间内准确追踪多个微小且快速移动的营养物质？
• RQ2 基于纹理特征的涟漪行为估算在预测投喂活动与优化投喂控制方面效果如何？
• RQ3 所提出的方法在鱼类养殖视频中微小目标追踪任务的精度与速度方面，是否优于当前最先进追踪模型？
• RQ4 结合营养物质追踪与涟漪分析在多大程度上提升了自动鱼类投喂系统的可靠性与效率？
• RQ5 该系统能否在不同环境条件下（如光照变化、杂物干扰及鱼缸边界）保持一致的性能表现？

主要发现

• 所提方法实现3.86 fps的帧率，标准差为0.11 fps，显著优于基准方法，如轨迹映射（1.93 fps）与JDE（1.87 fps）。
• 系统可成功追踪小至13×36像素的营养物质，在高密度与高速运动条件下仍保持精度，而其他方法在该场景下无法产生一致的追踪结果。
• 利用纹理特征（如GLCM）进行涟漪行为估算，能有效区分投喂与非投喂事件，从而可靠地激活投喂装置。
• 该方法在真实世界数据集上表现优异，包括飞行鸟类与杂物等挑战性条件，这些因素会干扰传统实验室系统。
• 计算时间分析表明，所提方法的处理速度约为次优基准方法的两倍，YOLOv3+SORT与YOLOv3+TM的帧率仅为0.45–0.47 fps。
• 视觉与定量评估均证实，营养物质追踪与涟漪分析的结合为自动投喂控制提供了鲁棒且互补的信号。