[논문 리뷰] Non-invasive Growth Monitoring of Small Freshwater Fish in Home Aquariums via Stereo Vision

Clemens Seibold, Anna Hilsmann외 1명|arXiv (Cornell University)|2026. 03. 06.

Water Quality Monitoring Technologies인용 수 0

한 줄 요약

refraction-aware epipolar geometry를 사용하는 스테레오-카메라 시스템과 YOLOv11-Pose 네트워크가 수조에서 물고기의 3D 주요 포인트를 추정하여 비침습적으로 길이를 측정합니다. 학습된 품질 필터 및 템플릿 기반 키포인트 정제를 통해 정확도를 향상시킵니다.

ABSTRACT

Monitoring fish growth behavior provides relevant information about fish health in aquaculture and home aquariums. Yet, monitoring fish sizes poses different challenges, as fish are small and subject to strong refractive distortions in aquarium environments. Image-based measurement offers a practical, non-invasive alternative that allows frequent monitoring without disturbing the fish. In this paper, we propose a non-invasive refraction-aware stereo vision method to estimate fish length in aquariums. Our approach uses a YOLOv11-Pose network to detect fish and predict anatomical keypoints on the fish in each stereo image. A refraction-aware epipolar constraint accounting for the air-glass-water interfaces enables robust matching, and unreliable detections are removed using a learned quality score. A subsequent refraction-aware 3D triangulation recovers 3D keypoints, from which fish length is measured. We validate our approach on a new stereo dataset of endangered Sulawesi ricefish captured under aquarium-like conditions and demonstrate that filtering low-quality detections is essential for accurate length estimation. The proposed system offers a simple and practical solution for non-invasive growth monitoring and can be easily applied in home aquariums.

연구 동기 및 목표

• 가정용 수조에서 물고기의 복지, 건강, 영양 상태를 평가하기 위한 비침습적이고 빈번한 성장 모니터링을 촉진한다.
• 공기–유리–물의 굴절을 반영하는 스테레오 비전 시스템을 개발하여 물고기 길이를 정확히 추정한다.
• 경계 상자, 키포인트, 품질에 대한 주석이 포함된 Sulawesi ricefish의 스테레오 이미지 데이터세트를 생성하고 공유한다.
• 매칭 및 길이 추정 정확도에 대한 품질 평가 및 필터링의 영향을 평가한다.]
• method([
• method

제안 방법

• YOLOv11-Pose를 확장하여 물고기를 감지하고, 다섯 개의 해부학적 키포인트를 예측하며, 전체 이미지 품질 수준을 추정한다.
• 굴절 인식 에피폴라 제약 및 3D 삼각측량을 적용하여 스테레오 페어로부터 물고기의 3D 키포인트를 추정한다.
• 에피폴라 곡선 근접성, 경계 상자 크기 유사성, 키포인트 구성의 조합으로 구성된 세 항의 스테레오 매칭 비용을 사용한다.
• 에피폴라 곡선을 따라 제약된 템플릿 매칭으로 키포인트를 정제한다.
• 품질 예측 및 방향 기반 확인을 사용하여 신뢰할 수 없는 매치를 필터링하고 길이 추정의 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 굴절 인식 스테레오 파이프라인이 수족관 설정에서 작은 민물 물고기의 길이를 정확히 추정할 수 있는가?
• RQ2 학습된 품질 추정기와 방향 필터를 통합하면 잘못된 스테레오 매치를 줄이고 길이 RMSE를 개선하는가?
• RQ3 배경 맥락(벽/식물)이 길이 추정에서 템플릿 매칭 개선에 어떤 영향을 미치는가?
• RQ4 제안된 시스템의 표준 하드웨어에서의 런타임 성능은 가정용 수조 사용에 실용적인가?

주요 결과

• 시스템은 스테레오 이미지로부터 굴절 인식 3D 키포인트를 삼각측정하여 물고기의 길이를 비침습적으로 추정한다.
• 품질 필터링 및 방향 확인은 YOLO 백본 전반의 잘못된 매치를 크게 감소시키며, 중간 백본과 품질+방향 필터를 사용할 때 최상의 결과를 보인다.
• 키포인트 정제용 템플릿 매칭은 벽 배경의 씬에서 RMSE를 개선할 수 있으나 잡다한 배경의 씬에서는 오히려 악화될 수 있어 배경 의존적 효과를 시사한다.
• 테스트 씬 전반에 걸쳐 표준 하드웨어에서 약 초당 다섯 프레임의 페어로 실행되며, 템플릿 매칭이 런타임의 약 ~75%를 차지한다.
• 일부 구성에서는 품질 필터링과 방향 기반 필터를 모두 적용할 때 RMSE 개선이 최대 약 50%에 이르는 것으로 보고된다.