[论文解读] Non-invasive Growth Monitoring of Small Freshwater Fish in Home Aquariums via Stereo Vision

Clemens Seibold, Anna Hilsmann+1 more|arXiv (Cornell University)|Mar 6, 2026

Water Quality Monitoring Technologies被引用 0

一句话总结

一个使用折射感知极周法几何与 YOLOv11-Pose 网络的立体相机系统，估计鱼类关键点的三维位置，以在水族箱中非侵入式测量长度。它包含一个学习得到的质量过滤器和基于模板的关键点细化，以提高精度。

ABSTRACT

Monitoring fish growth behavior provides relevant information about fish health in aquaculture and home aquariums. Yet, monitoring fish sizes poses different challenges, as fish are small and subject to strong refractive distortions in aquarium environments. Image-based measurement offers a practical, non-invasive alternative that allows frequent monitoring without disturbing the fish. In this paper, we propose a non-invasive refraction-aware stereo vision method to estimate fish length in aquariums. Our approach uses a YOLOv11-Pose network to detect fish and predict anatomical keypoints on the fish in each stereo image. A refraction-aware epipolar constraint accounting for the air-glass-water interfaces enables robust matching, and unreliable detections are removed using a learned quality score. A subsequent refraction-aware 3D triangulation recovers 3D keypoints, from which fish length is measured. We validate our approach on a new stereo dataset of endangered Sulawesi ricefish captured under aquarium-like conditions and demonstrate that filtering low-quality detections is essential for accurate length estimation. The proposed system offers a simple and practical solution for non-invasive growth monitoring and can be easily applied in home aquariums.

研究动机与目标

• 促进对小型淡水鱼进行非侵入式、频繁的生长监测，以评估家庭水族箱中的福利、健康和营养状况。
• 开发一个考虑空气–玻璃–水折射的立体视觉系统，以准确估计鱼的长度。
• 创建并分享一份 Sulawesi ricefish 的立体图像数据集，包含边界框、关键点和质量等注释。
• 评估质量评估与过滤对匹配和长度估计精度的影响。

提出的方法

• 将 YOLOv11-Pose 扩展以检测鱼类、预测五个解剖关键点，并估计整体图像质量等级。
• 应用折射感知的极线约束和三维三角测量，从立体对中估计鱼的三维关键点。
• 使用一个三项立体匹配成本，将极线曲线接近度、边界框大小相似性和关键点配置结合起来。
• 在极线曲线受限的条件下，使用模板匹配对关键点进行细化。
• 使用质量预测和基于方向的检查来过滤不可靠的匹配，从而提高长度估计的鲁棒性。

实验结果

研究问题

• RQ1 一个折射感知的立体管线是否能在水族箱环境中准确估计小型淡水鱼的长度？
• RQ2 引入学习得到的质量估计器和方向过滤器是否能减少错误的立体匹配、提升长度RMSE？
• RQ3 背景环境（墙壁 vs 植物）如何影响用于长度估计的模板匹配改进？
• RQ4 在标准硬件上，该系统对实际家用水族箱的运行性能如何？

主要发现

• 系统通过从立体图像三角化折射感知的三维关键点实现鱼的非侵入式长度估计。
• 质量过滤与方向检查显著减少跨 YOLO骨干网络的错误匹配，使用中等骨干网络和质量+方向过滤获得最佳结果。
• 用于关键点细化的模板匹配在墙面背景场景中可提升RMSE，但在杂乱场景中可能恶化，表明背景依赖性影响。
• 在测试场景中，该方法在标准硬件上约以每秒五对帧的速率运行，模板匹配贡献约占运行时间的75%。
• 在某些配置下，尤其是同时应用质量过滤和方向过滤时，RMSE 改进可达到约50%。