[논문 리뷰] Fish Tracking, Counting, and Behaviour Analysis in Digital Aquaculture: A Comprehensive Survey

Meng Cui, Xubo Liu외 4명|arXiv (Cornell University)|2024. 06. 20.

Water Quality Monitoring TechnologiesEnvironmental Science인용 수 3

한 줄 요약

이 종합적 서베이는 디지털 양식업에서 물고기 추적, 세는 것, 행동 분석을 위한 시각 기반, 음향 기반, 생체 센서 기반 방법을 검토하며, 제한된 데이터셋과 통합 평가 기준의 부재와 같은 핵심 과제를 밝혀낸다. 다중 모odal 데이터 융합, 딥 러닝, 추적, 세는 것, 행동 분석 작업의 통합 모델링을 통해 양식업 환경에서의 시스템의 내구성, 효율성, 실용성을 향상시키자고 주장한다.

ABSTRACT

Digital aquaculture leverages advanced technologies and data-driven methods, providing substantial benefits over traditional aquaculture practices. This paper presents a comprehensive review of three interconnected digital aquaculture tasks, namely, fish tracking, counting, and behaviour analysis, using a novel and unified approach. Unlike previous reviews which focused on single modalities or individual tasks, we analyse vision-based (i.e. image- and video-based), acoustic-based, and biosensor-based methods across all three tasks. We examine their advantages, limitations, and applications, highlighting recent advancements and identifying critical cross-cutting research gaps. The review also includes emerging ideas such as applying multi-task learning and large language models to address various aspects of fish monitoring, an approach not previously explored in aquaculture literature. We identify the major obstacles hindering research progress in this field, including the scarcity of comprehensive fish datasets and the lack of unified evaluation standards. To overcome the current limitations, we explore the potential of using emerging technologies such as multimodal data fusion and deep learning to improve the accuracy, robustness, and efficiency of integrated fish monitoring systems. In addition, we provide a summary of existing datasets available for fish tracking, counting, and behaviour analysis. This holistic perspective offers a roadmap for future research, emphasizing the need for comprehensive datasets and evaluation standards to facilitate meaningful comparisons between technologies and to promote their practical implementations in real-world settings.

연구 동기 및 목표

• 디지털 양식업에서의 물고기 모니터링을 위한 현재 기술, 특히 시각, 음향, 생체 센서 기반 방법을 통합적으로 검토하는 것.
• 포괄적인 데이터셋 부족과 통합 평가 기준의 부재와 같은 핵심 연구 격차를 특정하는 것.
• 다중 모달 데이터 융합과 딥 러닝이 물고기 모니터링 시스템의 정확성과 내구성을 향상시키는 잠재력을 탐색하는 것.
• 추적, 세는 것, 행동 분석 작업을 통합 모델링하여 중복을 줄이고 효율성을 향상시키자고 주장하는 것.
• 에지 컴퓨팅, 대규모 언어 모델, 인공 일반 지능 등 주요 추세를 제시하여 향후 연구를 안내하는 것.

제안 방법

• 최근 20년간의 물고기 추적, 세는 것, 행동 분석 방법에 대한 체계적 문헌 서베이.
• 장점, 한계, 응용 분야를 기준으로 시각 기반, 음향 기반, 생체 센서 기반 기술을 분류하고 비교 분석하는 것.
• 재현 가능성과 벤치마킹을 지원하기 위해 물고기 모니터링 작업을 위한 기존 공개 데이터셋을 식별하고 요약하는 것.
• 다중 모달 데이터 융합, 딥 러닝, 에지 컴퓨팅과 같은 신기술이 시스템 성능 향상에 기여하는지 평가하는 것.
• 다중 모달 데이터 통합 및 해석 가능한 행동 인사이트 생성에 있어 대규모 언어 모델(Large Language Models, LLMs)과 인공 일반 지능(Artificial General Intelligence, AGI)의 잠재력을 탐색하는 것.
• 공유된 특징을 활용하여 계산 오버헤드를 줄이고 효율성을 높이기 위해 추적, 세는 것, 행동 분석의 통합 모델링 프레임워크를 제안하는 것.

Figure 1: Fish trajectory under different frame rates.

실험 결과

연구 질문

• RQ1 디지털 양식업에서 물고기 추적, 세는 것, 행동 분석을 위한 현재 최고의 기술적 방법은 무엇인가?
• RQ2 시각 기반, 음향 기반, 생체 센서 기반 접근 방식은 정확도, 내구성, 실용적 구현 측면에서 어떻게 비교될 수 있는가?
• RQ3 물고기 모니터링 시스템의 발전을 저해하는 주요 기술적 및 데이터 기반 과제는 무엇인가?
• RQ4 다중 모달 데이터 융합과 딥 러닝은 실생활 양식업 환경에서 물고기 모니터링의 성능과 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ5 대규모 언어 모델과 인공 일반 지능은 지능형 물고기 모니터링 및 의사결정 지원 시스템의 발전에 어떤 역할을 할 수 있는가?

주요 결과

• 시각 기반 방법은 널리 사용되지만, 특히 복잡하거나 동적인 환경에서는 조도 부족, 가림, 이미지 노이즈로 인해 제한된다.
• 음향 기반 방법은 탁한 물이나 저조도 조건에서도 비침습적 모니터링이 가능하지만, 고비용 하드웨어와 집중 양식에서의 확장성 부족으로 인해 어려움을 겪는다.
• 생체 센서는 생리적 정보를 제공하지만, 태깅이 필요하여 대규모 적용에 있어 침습적이고 비실용적이다.
• 표준화된 평가 프로토콜과 포괄적인 공개 데이터셋의 부재는 성능 비교 및 모델 일반화를 위한 주요 장벽이다.
• 추적, 세는 것, 행동 분석의 통합 모델링은 작업 간 공유된 특징을 활용함으로써 계산 중복을 줄이고 시스템 효율성을 향상시킬 수 있다.
• 다중 모달 융합, 딥 러닝, 대규모 언어 모델의 통합과 같은 신기술들은 더 적응성 있고 지능적이며 확장 가능한 물고기 모니터링 시스템을 구축하는 데 강력한 잠재력을 보인다.

Figure 2: Fish tracking method based on YoloV5 and SiamRPN++ [ 61 ] .