[论文解读] Feeding control and water quality monitoring in aquaculture systems: Opportunities and challenges

Fahad Aljehani, Ibrahima N’Doye+1 more|arXiv (Cornell University)|Jun 14, 2023

Water Quality Monitoring Technologies被引用 5

一句话总结

本文提出了一种混合控制框架，将基于模型的模型预测控制（MPC）与强化学习（RL）相结合，以优化水产养殖系统中的投喂与水质管理。通过利用生物能鱼生长模型和约束感知学习，该方法在动态环境条件下提升了鱼类存活率、饲料效率以及轨迹跟踪精度。

ABSTRACT

Aquaculture systems can benefit from the recent development of advanced control strategies to reduce operating costs and fish loss and increase growth production efficiency, resulting in fish welfare and health. Monitoring the water quality and controlling feeding are fundamental elements of balancing fish productivity and shaping the fish growth process. Currently, most fish-feeding processes are conducted manually in different phases and rely on time-consuming and challenging artificial discrimination. The feeding control approach influences fish growth and breeding through the feed conversion rate; hence, controlling these feeding parameters is crucial for enhancing fish welfare and minimizing general fishery costs. The high concentration of environmental factors, such as a high ammonia concentration and pH, affect the water quality and fish survival. Therefore, there is a critical need to develop control strategies to determine optimal, efficient, and reliable feeding processes and monitor water quality. This paper reviews the main control design techniques for fish growth in aquaculture systems, namely algorithms that optimize the feeding and water quality of a dynamic fish growth process. Specifically, we review model-based control approaches and model-free reinforcement learning strategies to optimize the growth and survival of the fish or track a desired reference live-weight growth trajectory. The model-free framework uses an approximate fish growth dynamic model and does not satisfy constraints. We discuss how model-based approaches can support a reinforcement learning framework to efficiently handle constraint satisfaction and find better trajectories and policies from value-based reinforcement learning.

研究动机与目标

• 解决水产养殖系统中人工投喂与水质监测效率低下及高运营成本的问题。
• 通过自动化、数据驱动的控制策略降低鱼类死亡率并提高饲料转化率。
• 开发一种尊重生理与环境约束的控制框架，同时优化鱼类生长轨迹。
• 弥合数据驱动的鱼类行为监测与实时水产养殖操作中可执行控制策略之间的差距。

提出的方法

• 本研究采用生物能鱼生长模型，将温度、溶解氧（DO）和非离子化氨（UIA）作为影响鱼类代谢与存活的关键环境因素。
• 模型使用缩放因子 τ(T)、σ(DO) 和 v(UIA) 来表示温度、DO 和 UIA 对鱼类摄食率与存活率的影响，采用S型函数和分段函数以反映生理阈值。
• 应用模型预测控制（MPC）框架以优化投喂时间表，同时对水质施加约束（例如 DO > 0.3 mg/L，UIA < 0.06 mg/L）。
• 在无模型设定下使用强化学习（RL）基于模拟的鱼类生长动态学习最优控制策略，但缺乏约束强制执行能力。
• 提出一种混合方法，其中基于模型的MPC提升基于价值函数的RL的样本效率与约束满足能力，从而实现更优的策略学习。
• 鱼类死亡系数 k₁ 采用基于UIA的逻辑回归函数建模，经真实实验数据校准，参数为 Z=99.41，β=10.36，η=0.80。

(a)

实验结果

研究问题

• RQ1 基于模型的控制策略在水产养殖投喂控制中如何提升强化学习的可靠性与约束满足能力？
• RQ2 关键环境因素（温度、DO、UIA）对循环水养殖系统中鱼类生长与存活的影响如何？
• RQ3 混合MPC-RL框架在优化鱼类生长轨迹与饲料效率方面，相较于纯无模型RL能提升多少性能？
• RQ4 生理阈值（如临界DO与UIA水平）如何影响水产养殖系统稳健控制策略的设计？
• RQ5 生物能生长模型能否准确表征鱼类在动态环境条件下的响应，以用于实时控制？

主要发现

• 温度、DO与UIA等环境因素的引入显著影响鱼类摄食率与存活率，最优表现出现在 T=33°C，DO>0.3 mg/L，UIA<0.06 mg/L 时。
• 基于UIA的鱼类死亡率逻辑模型与实验数据高度吻合，在高氨水平（η=0.80 mg/L）下死亡率可达99.41%。
• 无模型强化学习虽可学习最优投喂策略，但无法强制执行关键水质约束，存在鱼类健康风险。
• 将模型预测控制（MPC）与强化学习结合，显著改善了约束处理能力，并促进了更高效投喂轨迹的发现。
• 生物能模型成功捕捉了温度与氧气对鱼类代谢的非线性影响，τ(T) 与 σ(DO) 因子有效降低了非最优范围内的摄食效率。
• 所提出的混合MPC-RL框架在模拟动态与不确定条件下鱼类生长时，表现出更高的鲁棒性与更快的收敛速度。

Figure 15 : Model predictive control framework to optimize factors strongly influencing fish growth, such as feeding rate, dissolved oxygen, and temperature.