[論文レビュー] Feeding control and water quality monitoring in aquaculture systems: Opportunities and challenges

Fahad Aljehani, Ibrahima N’Doye+1 more|arXiv (Cornell University)|Jun 14, 2023

Water Quality Monitoring Technologies被引用数 5

ひとこと要約

本稿では、モデルベースの予測制御と強化学習を統合したハイブリッド制御フレームワークを提案し、養殖システムにおける給餌と水質の最適化を図る。生物学的エネルギー消費魚成長モデルと制約を考慮した学習を活用することで、動的環境条件下でも魚の生存率、飼料効率、トラジェクトリ追従精度が向上する。

ABSTRACT

Aquaculture systems can benefit from the recent development of advanced control strategies to reduce operating costs and fish loss and increase growth production efficiency, resulting in fish welfare and health. Monitoring the water quality and controlling feeding are fundamental elements of balancing fish productivity and shaping the fish growth process. Currently, most fish-feeding processes are conducted manually in different phases and rely on time-consuming and challenging artificial discrimination. The feeding control approach influences fish growth and breeding through the feed conversion rate; hence, controlling these feeding parameters is crucial for enhancing fish welfare and minimizing general fishery costs. The high concentration of environmental factors, such as a high ammonia concentration and pH, affect the water quality and fish survival. Therefore, there is a critical need to develop control strategies to determine optimal, efficient, and reliable feeding processes and monitor water quality. This paper reviews the main control design techniques for fish growth in aquaculture systems, namely algorithms that optimize the feeding and water quality of a dynamic fish growth process. Specifically, we review model-based control approaches and model-free reinforcement learning strategies to optimize the growth and survival of the fish or track a desired reference live-weight growth trajectory. The model-free framework uses an approximate fish growth dynamic model and does not satisfy constraints. We discuss how model-based approaches can support a reinforcement learning framework to efficiently handle constraint satisfaction and find better trajectories and policies from value-based reinforcement learning.

研究の動機と目的

• 養殖システムにおける手動による給餌と水質監視の非効率性と高コストを是正すること。
• データ駆動型の制御戦略により、魚の死亡率を低減し、飼料変換率を改善すること。
• 生理的および環境的制約を尊重しながら、魚の成長軌道を最適化する制御フレームワークの開発。
• リアルタイム養殖運用におけるデータ駆動型魚行動モニタリングと実行可能な制御ポリシーのギャップを埋めること。

提案手法

• 本研究では、水温、溶解酸素（DO）、非解離性アンモニア（UIA）を、魚の代謝および生存に影響を与える主要な環境要因として組み込んだ生物学的エネルギー消費魚成長モデルを採用する。
• 魚の摂餌量と生存に及ぼす水温、DO、UIAの影響を表すスケーリング要因 τ(T)、σ(DO)、v(UIA) を用い、生理的閾値を示すシグモイド関数および区分的関数を適用する。
• モデル予測制御（MPC）フレームワークを用いて、水質制約（例：DO > 0.3 mg/L、UIA < 0.06 mg/L）を満たしつつ給餌スケジュールを最適化する。
• 強化学習（RL）は、シミュレートされた魚成長ダイナミクスに基づき最適制御ポリシーを学習するモデルフリー設定で用いられるが、制約の強制が行われない。
• ハイブリッド手法として、モデルベースMPCが価値ベースRLのサンプル効率と制約満たしを向上させ、より優れたポリシー学習を可能にする。
• 魚の死亡係数 k₁ は、UIA を用いたロジスティック回帰関数でモデル化され、実験データに合わせてキャリブレーションされ、パラメータ Z=99.41、β=10.36、η=0.80 を有する。

(a)

実験結果

リサーチクエスチョン

• RQ1 モデルベース制御戦略は、養殖給餌制御における強化学習の信頼性と制約満たしをどのように向上させるか？
• RQ2 水温、DO、UIA といった主要な環境要因が、循環式養殖システムにおける魚の成長と生存に及ぼす影響は何か？
• RQ3 ハイブリッドMPC-RLフレームワークは、純粋にモデルフリーRLに比べて、魚の成長軌道と飼料効率の最適化においてどの程度優れているか？
• RQ4 生理的閾値（例：臨界DOおよびUIAレベル）は、養殖システムのロバストな制御ポリシー設計にどのように影響を与えるか？
• RQ5 生物学的エネルギー消費モデルは、リアルタイム制御に使用するにあたり、動的環境条件下における魚の反応を正確に再現できるか？

主な発見

• 水温、DO、UIA といった環境要因の組み込みが、魚の摂餌量と生存率に顕著な影響を及ぼし、最適な性能は T=33°C、DO>0.3 mg/L、UIA<0.06 mg/L の条件下で観察された。
• UIA を用いた魚の死亡率モデルは実験データに良好に適合し、高アンモニア濃度（η=0.80 mg/L）下で死亡率が 99.41% に達した。
• モデルフリーの強化学習は最適な給餌ポリシーを学習可能だが、重要な水質制約を満たさないため、魚の健康にリスクを伴う。
• モデル予測制御（MPC）と強化学習の統合により、制約処理が改善され、より効率的な給餌軌道の発見が可能になった。
• 生物学的エネルギー消費モデルは、水温および酸素の非線形的影響を適切に捉えており、τ(T) および σ(DO) 要因により、最適範囲外では摂餌効率が低下することが示された。
• 提案されたハイブリッドMPC-RLフレームワークは、動的かつ不確実な条件下での魚成長シミュレーションにおいて、より高いロバスト性と収束速度を示した。

Figure 15 : Model predictive control framework to optimize factors strongly influencing fish growth, such as feeding rate, dissolved oxygen, and temperature.