[논문 리뷰] Feeding control and water quality monitoring in aquaculture systems: Opportunities and challenges

Fahad Aljehani, Ibrahima N’Doye외 1명|arXiv (Cornell University)|2023. 06. 14.

Water Quality Monitoring Technologies인용 수 5

한 줄 요약

이 논문은 모델 기반 예측 제어와 강화 학습을 융합한 하이브리드 제어 프레임워크를 제안하여 수산업 시스템의 사료 공급과 수질을 최적화한다. 생물에너지 어류 성장 모델과 제약 인식 학습을 활용함으로써, 동적인 환경 조건 하에서도 어류 생존율, 사료 효율성, 궤적 추적 정확도를 향상시킨다.

ABSTRACT

Aquaculture systems can benefit from the recent development of advanced control strategies to reduce operating costs and fish loss and increase growth production efficiency, resulting in fish welfare and health. Monitoring the water quality and controlling feeding are fundamental elements of balancing fish productivity and shaping the fish growth process. Currently, most fish-feeding processes are conducted manually in different phases and rely on time-consuming and challenging artificial discrimination. The feeding control approach influences fish growth and breeding through the feed conversion rate; hence, controlling these feeding parameters is crucial for enhancing fish welfare and minimizing general fishery costs. The high concentration of environmental factors, such as a high ammonia concentration and pH, affect the water quality and fish survival. Therefore, there is a critical need to develop control strategies to determine optimal, efficient, and reliable feeding processes and monitor water quality. This paper reviews the main control design techniques for fish growth in aquaculture systems, namely algorithms that optimize the feeding and water quality of a dynamic fish growth process. Specifically, we review model-based control approaches and model-free reinforcement learning strategies to optimize the growth and survival of the fish or track a desired reference live-weight growth trajectory. The model-free framework uses an approximate fish growth dynamic model and does not satisfy constraints. We discuss how model-based approaches can support a reinforcement learning framework to efficiently handle constraint satisfaction and find better trajectories and policies from value-based reinforcement learning.

연구 동기 및 목표

• 수산업 시스템에서 수동 사료 공급과 수질 모니터링의 비효율성과 높은 운영 비용을 해결하기 위해.
• 자동화된 데이터 기반 제어 전략을 통해 어류 사망률을 감소시키고 사료 변환율을 향상시키기 위해.
• 생리적 및 환경적 제약을 고려하면서도 어류 성장 궤적을 최적화하는 제어 프레임워크를 개발하기 위해.
• 실시간 수산업 운영에서 데이터 기반 어류 행동 모니터링과 실행 가능한 제어 정책 간 격차를 메우기 위해.

제안 방법

• 연구는 어류 대사와 생존에 영향을 주는 온도, 용존 산소(DO), 비이온화 아질산염(UIA)를 핵심 환경 요소로 포함하는 생물에너지 어류 성장 모델을 사용한다.
• 온도, DO, UIA의 영향을 표현하기 위해 스케일링 인자 τ(T), σ(DO), v(UIA)를 사용하며, 생리적 임계치를 위한 시그모이드 함수 및 조각별 함수를 적용한다.
• 수질 제약(예: DO > 0.3 mg/L, UIA < 0.06 mg/L)을 강제하는 바탕이 되는 모델 예측 제어(MPC) 프레임워크를 적용하여 사료 공급 일정을 최적화한다.
• 강화 학습(RL)은 시뮬레이션된 어류 성장 역학 기반으로 최적의 제어 정책을 학습하기 위해 모델 프리 설정에서 사용되며, 제약 강제 조건이 없음을 특징으로 한다.
• 하이브리드 접근법에서는 모델 기반 MPC가 가치 기반 RL의 샘플 효율성과 제약 충족 능력을 향상시켜 더 나은 정책 학습을 가능하게 한다.
• 어류 사망 계수 k₁은 UIA 기반 로지스틱 회귀 함수로 모델링되며, 실제 실험 데이터에 기반하여 Z=99.41, β=10.36, η=0.80의 파라미터로 校정된다.

(a)

실험 결과

연구 질문

• RQ1 모델 기반 제어 전략은 수산업 사료 제어에서 강화 학습의 신뢰성과 제약 충족 능력을 어떻게 향상시킬 수 있는가?
• RQ2 온도, DO, UIA와 같은 핵심 환경 요소가 순환 수산업 시스템에서 어류 성장과 생존에 미치는 영향는 어떠한가?
• RQ3 하이브리드 MPC-RL 프레임워크는 순수 모델 프리 RL에 비해 어류 성장 궤적과 사료 효율성을 최적화하는 데 얼마나 뛰어난가?
• RQ4 생리적 임계치(예: 임계 DO 및 UIA 수준)는 수산업 시스템의 강건한 제어 정책 설계에 어떻게 영향을 미치는가?
• RQ5 생물에너지 성장 모델은 실시간 제어에 활용하기 위해 동적인 환경 조건에 대한 어류 반응을 정확하게 표현할 수 있는가?

주요 결과

• 온도, DO, UIA와 같은 환경 요소의 포함은 어류 사료 섭취율과 생존에 상당한 영향을 미치며, 최적 성능는 T=33°C, DO>0.3 mg/L, UIA<0.06 mg/L에서 관찰된다.
• UIA 기반 어류 사망률에 대한 로지스틱 모델은 실험 데이터에 정확하게 적합되며, 고농도 아질산염에서 사망률은 99.41%에 이르며, η=0.80 mg/L이다.
• 모델 프리 강화 학습은 최적의 사료 공급 정책을 학습할 수 있지만, 중요한 수질 제약 조건을 강제하지 못해 어류 건강에 위험을 초래할 수 있다.
• 모델 예측 제어(MPC)와 강화 학습의 통합은 제약 처리 능력을 향상시키고, 더 효율적인 사료 공급 궤적 발견을 가능하게 한다.
• 생물에너지 모델은 온도와 산소가 어류 대사에 미치는 비선형 효과를 성공적으로 포착하며, τ(T) 및 σ(DO) 요소는 최적 범위 외에서 사료 효율성을 감소시킨다.
• 제안된 하이브리드 MPC-RL 프레임워크는 동적이고 불확실한 조건에서 어류 성장 시뮬레이션에서 더 뛰어난 강건성과 수렴 속도를 보였다.

Figure 15 : Model predictive control framework to optimize factors strongly influencing fish growth, such as feeding rate, dissolved oxygen, and temperature.