[논문 리뷰] Reinforcement Learning Versus Model Predictive Control on Greenhouse Climate Control

Bernardo Morcego, Wenjie Yin외 4명|arXiv (Cornell University)|2023. 03. 10.

Greenhouse Technology and Climate ControlAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 상추 온실의 물리적 모델을 기반으로 한 통합 프레임워크 내에서 모델 예측 제어(MPC)와 강화 학습(RL)을 제안하고 비교한다. 에너지 효율성과 제약 조건 처리 측면에서 MPC가 뛰어난 성능을 보이지만, 불확실성 하에서 데이터 기반 최적화에 강한 적응성과 잠재력을 보이는 것으로 밝혀졌다.

ABSTRACT

Greenhouse is an important protected horticulture system for feeding the world with enough fresh food. However, to maintain an ideal growing climate in a greenhouse requires resources and operational costs. In order to achieve economical and sustainable crop growth, efficient climate control of greenhouse production becomes essential. Model Predictive Control (MPC) is the most commonly used approach in the scientific literature for greenhouse climate control. However, with the developments of sensing and computing techniques, reinforcement learning (RL) is getting increasing attention recently. With each control method having its own way to state the control problem, define control goals, and seek for optimal control actions, MPC and RL are representatives of model-based and learning-based control approaches, respectively. Although researchers have applied certain forms of MPC and RL to control the greenhouse climate, very few effort has been allocated to analyze connections, differences, pros and cons between MPC and RL either from a mathematical or performance perspective. Therefore, this paper will 1) propose MPC and RL approaches for greenhouse climate control in an unified framework; 2) analyze connections and differences between MPC and RL from a mathematical perspective; 3) compare performance of MPC and RL in a simulation study and afterwards present and interpret comparative results into insights for the application of the different control approaches in different scenarios.

연구 동기 및 목표

• 모델 예측 제어(MPC)와 강화 학습(RL)을 온실 기후 제어에서 비교할 수 있는 통합 프레임워크를 개발하기 위해.
• 온실 시스템 맥락에서 MPC와 RL 간의 수학적 연결성과 차이점을 분석하기 위해.
• 다양한 환경 및 운영 조건 하에서 시뮬레이션을 통해 MPC와 RL의 성능를 평가하고 비교하기 위해.
• 모델 기반 및 학습 기반 제어 접근법의 장점을 살린 하이브리드 제어 전략을 구현하기 위해 MPC와 RL의 통합을 탐색하기 위해.
• TD3, PPO, SAC와 같은 RL 알고리즘의 복잡한 온실 제어 시나리오에서의 확장성과 강건성 평가하기 위해.

제안 방법

• 사진합성, 증발산, CO2 및 습도 교환, 온도 동역학을 모두 반영하는 상추 온실의 연속 시간 비선형 동역학 모델을 수립한다.
• 수치적 시뮬레이션 및 제어 구현을 가능하게 하기 위해 연속 시간 모델을 명시적 4차 룬게-쿠타 방법을 사용해 이산화한다.
• 상태 및 제어 변수에 대한 제약 조건을 포함한 수축 시간 최적화 프레임워크를 사용해 모델 예측 제어(MPC) 전략을 구현한다.
• 딥 디터민리스틱 정책 그래디언트 기반 알고리즘(TD3, PPO, SAC 등)을 사용해 동일한 이산 시간 모델에서 최적 제어 정책을 학습시키기 위해 강화 학습(RL)을 적용한다.
• 제어 목표는 최적의 온도, CO2 농도 및 습도를 유지하면서 에너지 및 운영 비용을 최소화하는 것이다.
• 에너지 소비, 제약 위반, 추적 정확도 등의 지표를 사용해 기상 및 설정 조건이 변화하는 조건에서 24시간 동안의 시뮬레이션을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 온실 기후 제어에서 에너지 효율성, 제약 조건 처리 및 추적 성능 측면에서 MPC와 RL은 어떻게 비교될 수 있는가?
• RQ2 동일한 온실 제어 문제에 적용했을 때 MPC와 RL 간의 핵심 수학적 및 구조적 차이는 무엇인가?
• RQ3 동일한 시뮬레이션 조건에서 다양한 RL 알고리즘(TD3, PPO, SAC)은 MPC에 비해 어떻게 성능을 발휘하는가?
• RQ4 어떤 상황에서 RL이 MPC를 능가하고, 어떤 상황에서 MPC가 여전히 슈퍼어리어한가?
• RQ5 MPC와 RL을 통합해 하이브리드 제어 전략을 구현할 경우 온실 시스템에 어떤 의미가 있는가?

주요 결과

• MPC는 CO2 농도와 온도를 목표 범위 내에 유지하는 데 특히 유리하여 에너지 효율성과 제약 조건 준수 측면에서 RL을 일관되게 능가한다.
• RL은 변화하는 환경 조건에 뛰어난 적응성을 보이며 정확한 시스템 모델이 없더라도 효과적인 제어 정책을 학습할 수 있다.
• TD3 및 SAC와 같은 RL 알고리즘의 성능는 초모수 조정에 민감하며, PPO는 시뮬레이션에서 더 안정적인 학습 행동을 보였다.
• 표준 운영 조건에서 MPC는 RL 대비 최대 10% 낮은 에너지 소비를 기록했으며, 특히 흐린 날과 같은 교란 상황에서 유리하다.
• 시뮬레이션 결과에 따르면 MPC는 CO2 수준을 더 엄격하게 제어하고 제약 위반을 더 효과적으로 방지하는 것으로 나타났다. 반면 RL은 탐색 과정에서 일부 경우에 설정값을 초과하는 경향이 있었다.
• MPC와 RL의 통합은 유망한 방향으로 평가되었으며, MPC는 안전성과 제약 조건 준수를 담보하고 RL은 장기적이고 불확실한 외란에 대한 적응성을 향상시키는 데 기여할 수 있다.