[論文レビュー] Fish Tracking, Counting, and Behaviour Analysis in Digital Aquaculture: A Comprehensive Survey

Meng Cui, Xubo Liu+4 more|arXiv (Cornell University)|Jun 20, 2024

Water Quality Monitoring TechnologiesEnvironmental Science被引用数 3

ひとこと要約

この包括的なサーベイは、デジタルアクアカルチャーにおける魚の追跡、数え上げ、行動分析のためのビジョンベース、音響ベース、バイオスセンサーベースの手法をレビューし、限られたデータセットや統一された評価基準の欠如といった主な課題を特定している。マルチモーダルデータ統合、ディープラーニング、追跡・数え上げ・行動分析の共同モデリングを提唱することで、アクアカルチャー環境におけるシステムのロバスト性、効率性、実用性を向上させることを目的としている。

ABSTRACT

Digital aquaculture leverages advanced technologies and data-driven methods, providing substantial benefits over traditional aquaculture practices. This paper presents a comprehensive review of three interconnected digital aquaculture tasks, namely, fish tracking, counting, and behaviour analysis, using a novel and unified approach. Unlike previous reviews which focused on single modalities or individual tasks, we analyse vision-based (i.e. image- and video-based), acoustic-based, and biosensor-based methods across all three tasks. We examine their advantages, limitations, and applications, highlighting recent advancements and identifying critical cross-cutting research gaps. The review also includes emerging ideas such as applying multi-task learning and large language models to address various aspects of fish monitoring, an approach not previously explored in aquaculture literature. We identify the major obstacles hindering research progress in this field, including the scarcity of comprehensive fish datasets and the lack of unified evaluation standards. To overcome the current limitations, we explore the potential of using emerging technologies such as multimodal data fusion and deep learning to improve the accuracy, robustness, and efficiency of integrated fish monitoring systems. In addition, we provide a summary of existing datasets available for fish tracking, counting, and behaviour analysis. This holistic perspective offers a roadmap for future research, emphasizing the need for comprehensive datasets and evaluation standards to facilitate meaningful comparisons between technologies and to promote their practical implementations in real-world settings.

研究の動機と目的

• デジタルアクアカルチャーにおける魚のモニタリング技術を、ビジョン、音響、バイオスセンサーベースの手法を統合的にレビューすること。
• 包括的なデータセットの不足や、統一された評価基準の欠如を含む、重要な研究ギャップを特定すること。
• マルチモーダルデータ統合とディープラーニングが、魚のモニタリングシステムの精度とロバスト性を向上させる可能性を検討すること。
• 追跡・数え上げ・行動分析の共同モデリングを提唱し、重複を減らし効率を向上させること。
• エッジコンピューティング、大規模言語モデル、汎用人工知能といった今後のトレンドを提示することで、今後の研究を導くこと。

提案手法

• 過去20年間における魚の追跡、数え上げ、行動分析手法に関する体系的文献レビュー。
• 利点、制限、応用分野に基づいて、ビジョンベース、音響ベース、バイオスセンサーベース技術を分類・比較分析すること。
• 再現性とベンチマークの支援を目的として、魚のモニタリングタスク用の既存の公開データセットを特定・要約すること。
• マルチモーダルデータ統合、ディープラーニング、エッジコンピューティングなどの新技術が、システム性能を向上させる可能性を評価すること。
• マルチモーダルデータ統合と解釈可能な行動インサイトの生成に、大規模言語モデル（LLMs）と汎用人工知能（AGI）が果たす役割を検討すること。
• 共通の特徴を活用し、計算オーバーヘッドを低減するための、追跡・数え上げ・行動分析の共同モデリングのためのフレームワークを提案すること。

Figure 1: Fish trajectory under different frame rates.

実験結果

リサーチクエスチョン

• RQ1 デジタルアクアカルチャーにおける魚の追跡、数え上げ、行動分析の最新の最先端手法は何か？
• RQ2 ビジョンベース、音響ベース、バイオスセンサーベースのアプローチは、精度、ロバスト性、実用的導入の観点でどのように比較できるか？
• RQ3 魚のモニタリングシステムの進展を妨げる主な技術的およびデータ関連の課題は何か？
• RQ4 マルチモーダルデータ統合とディープラーニングは、現実のアクアカルチャー環境における魚のモニタリングの性能と信頼性をどのように向上させられるか？
• RQ5 大規模言語モデルと汎用人工知能は、インテリジェントな魚のモニタリングおよび意思決定支援システムの発展に、どのように寄与できるか？

主な発見

• ビジョンベースの手法は広く用いられているが、特に複雑または動的な環境では、照明不足、隠蔽、画像ノイズの影響を強く受ける。
• 音響ベースの手法は、濁った水質や視界が悪い状況でも非侵襲的モニタリングが可能であるが、高コストのハードウェアと、集約的アクアカルチャーにおけるスケーラビリティの制限がある。
• バイオスセンサは生理的インサイトを提供するが、タグの必要性から大規模な展開には不適切で、しばしば侵襲的である。
• 標準化された評価プロトコルや包括的な公開データセットの欠如が、性能比較やモデルの一般化を妨げる主要な障壁のままである。
• 追跡・数え上げ・行動分析の共同モデリングにより、タスク間で共有される特徴を活用することで、計算上の冗長性を低減し、システムの効率を向上させられる。
• マルチモーダル統合、ディープラーニング、大規模言語モデルの統合といった新技術は、より適応的で知的かつスケーラブルな魚のモニタリングシステムを構築する強力な可能性を示している。

Figure 2: Fish tracking method based on YoloV5 and SiamRPN++ [ 61 ] .