[論文レビュー] Automatic Controlling Fish Feeding Machine using Feature Extraction of Nutriment and Ripple Behavior

Hilmil Pradana, Keiichi Horio|arXiv (Cornell University)|Aug 15, 2022

Water Quality Monitoring Technologies被引用数 4

ひとこと要約

本稿では、コンピュータビジョンを用いて栄養素の追跡とリップル行動の分析を行い、最適化された給餌を実現する自動的魚の給餌制御システムを提案する。物体検出／追跡とテクスチャ特徴抽出を組み合わせてリップル推定を実施する手法により、リアルタイム性能が3.86 fpsに達し、養殖環境における小型で密集した栄養素の追跡において、速度と正確性の面で最先端の手法を上回る。

ABSTRACT

Controlling fish feeding machine is challenging problem because experienced fishermen can adequately control based on assumption. To build robust method for reasonable application, we propose automatic controlling fish feeding machine based on computer vision using combination of counting nutriments and estimating ripple behavior using regression and textural feature, respectively. To count number of nutriments, we apply object detection and tracking methods to acknowledge the nutriments moving to sea surface. Recently, object tracking is active research and challenging problem in computer vision. Unfortunately, the robust tracking method for multiple small objects with dense and complex relationships is unsolved problem in aquaculture field with more appearance creatures. Based on the number of nutriments and ripple behavior, we can control fish feeding machine which consistently performs well in real environment. Proposed method presents the agreement for automatic controlling fish feeding by the activation graphs and textural feature of ripple behavior. Our tracking method can precisely track the nutriments in next frame comparing with other methods. Based on computational time, proposed method reaches 3.86 fps while other methods spend lower than 1.93 fps. Quantitative evaluation can promise that proposed method is valuable for aquaculture fish farm with widely applied to real environment.

研究の動機と目的

• 養殖における不規則な魚の給餌が生産コストの最大40％を占めるという課題に対処すること。
• 正確で自動化された給餌制御により、栄養素の無駄と水質汚染を低減すること。
• 複雑で動的な養殖環境でも信頼性高く機能する、強固でリアルタイムのシステムを開発すること。
• 現実の状況下で限界を示す既存の機械的センサーやラボベースのコンピュータビジョン手法の課題を克服すること。
• 栄養素の動きとリップルダイナミクスからの特徴抽出を通じて、給餌効率を向上させること。

提案手法

• YOLOv3ベースの物体検出と追跡を用いて、動画フレーム内の小型で高速移動する栄養素を特定・追跡する。
• 追跡された位置と動きに基づいて、栄養素の数を推定する回帰モデルを適用する。
• テクスチャ特徴抽出（例：GLCM）を用いて、水面のリップル行動を検出し、給餌行動の指標として分析する。
• 栄養素の個数とリップル強度のデータを統合し、魚の給餌マシンを自動で起動・制御する。
• 軌道マッピングと運動の一貫性を統合することで、多数の小型物体が密接に相互作用する状況における追跡の頑健性を向上させる。
• 実世界の養殖動画データを用いた、JDE、SORT、および軌道マッピングと比較する独自のベンチマーク評価フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 複雑な養殖環境下でも、小型で高速移動する栄養素をリアルタイムで正確に追跡できるか？
• RQ2 テクスチャ特徴に基づくリップル行動推定は、給餌行動の予測と給餌制御の最適化においてどの程度効果的か？
• RQ3 本手法は、養殖動画における小型物体の追跡において、最先端の追跡モデルと比較して速度と正確性の面で優れているか？
• RQ4 栄養素の追跡とリップル分析を組み合わせることで、自動魚の給餌システムの信頼性と効率性はどの程度向上するか？
• RQ5 照明の変化、ごみ、魚の水槽の境界など、多様な環境条件下でも、システムは一貫した性能を維持できるか？

主な発見

• 提案手法は3.86 fpsの性能を達成し、標準偏差0.11 fpsを示した。これは、軌道マッピング（1.93 fps）やJDE（1.87 fps）といったベンチマーク手法を著しく上回っている。
• 本システムは13×36ピクセルという極めて小さな栄養素を正確に追跡でき、高密度と高速移動の状況下でも、他の手法が一貫した追跡結果を出せない中で、正確性を維持している。
• テクスチャ特徴（例：GLCM）を用いたリップル行動推定は、給餌時と非給餌時を効果的に区別でき、給餌装置の信頼性ある起動を可能にした。
• 本手法は、飛行する鳥類やごみといった、従来のラボベースのシステムが混乱しやすい厳しい状況下の実世界データセットでも、優れた性能を示した。
• 計算時間の分析から、本手法は次に優れたベンチマークの約2倍の速度であることが確認された。YOLOv3+SORTおよびYOLOv3+TMはそれぞれ0.45–0.47 fpsにとどまった。
• 視覚的および定量的評価から、栄養素の追跡とリップル分析の組み合わせが、自動給餌制御に向けた強固で補完的な信号を提供することが確認された。