[논문 리뷰] Robust Model-based Reinforcement Learning for Autonomous Greenhouse Control

Wanpeng Zhang, Xiaoyan Cao외 4명|arXiv (Cornell University)|2021. 08. 26.

Greenhouse Technology and Climate ControlAgricultural and Biological Sciences참고 문헌 30인용 수 20

한 줄 요약

이 논문은 샘플 효율성과 안전성을 향상시키기 위해 자율 온실 제어를 위한 강건한 모델 기반 강화학습 프레임워크를 제안한다. 시뮬레이션 기반 정책 최적화를 위해 환경 모델의 앙상블을 사용하고, 악성 시나리오를 우선시하기 위해 샘플 드롭아웃 모듈을 도입함으로써, 기준 방법에 비해 극한 조건에서도 더 높은 수확량과 유지를 달성한다.

ABSTRACT

Due to the high efficiency and less weather dependency, autonomous greenhouses provide an ideal solution to meet the increasing demand for fresh food. However, managers are faced with some challenges in finding appropriate control strategies for crop growth, since the decision space of the greenhouse control problem is an astronomical number. Therefore, an intelligent closed-loop control framework is highly desired to generate an automatic control policy. As a powerful tool for optimal control, reinforcement learning (RL) algorithms can surpass human beings' decision-making and can also be seamlessly integrated into the closed-loop control framework. However, in complex real-world scenarios such as agricultural automation control, where the interaction with the environment is time-consuming and expensive, the application of RL algorithms encounters two main challenges, i.e., sample efficiency and safety. Although model-based RL methods can greatly mitigate the efficiency problem of greenhouse control, the safety problem has not got too much attention. In this paper, we present a model-based robust RL framework for autonomous greenhouse control to meet the sample efficiency and safety challenges. Specifically, our framework introduces an ensemble of environment models to work as a simulator and assist in policy optimization, thereby addressing the low sample efficiency problem. As for the safety concern, we propose a sample dropout module to focus more on worst-case samples, which can help improve the adaptability of the greenhouse planting policy in extreme cases. Experimental results demonstrate that our approach can learn a more effective greenhouse planting policy with better robustness than existing methods.

연구 동기 및 목표

• 실제 온실 자동화에 적용되는 강화학습에서 높은 샘플 비용과 안전 위험을 해결하기 위해.
• 시뮬레이션된 롤아웃을 위해 학습된 환경 모델의 앙상블을 활용하여 학습의 샘플 효율성을 향상시키기 위해.
• 최악의 시나리오에 초점을 맞추기 위해 샘플 드롭아웃 메커니즘을 통해 환경의 변동성에 대한 정책의 강인성을 향상시키기 위해.
• 실제 온실에서 수확량과 에너지 효율성을 균형 잡는 폐쇄형, 데이터 기반 제어 시스템을 개발하기 위해.
• 시뮬레이션과 분해 분석을 통해 표준 및 비정상적인 환경 조건에서 프레임워크의 우수성을 검증하기 위해.

제안 방법

• 프레임워크는 다이나 스타일의 계획을 통해 효율적인 정책 학습을 가능하게 하기 위해 신경망 모델의 앙상블을 사용하여 온실 환경을 시뮬레이션한다.
• 실제 상호작용 데이터를 사용해 환경 모델 앙상블을 학습시키며, 이후 합성 롤아웃을 생성하여 학습 데이터를 보강한다.
• 정책 최적화 중에 고보상 샘플을 선택적으로 제거함으로써, 저확률이지만 고위험 시나리오에 학습을 집중시키기 위해 샘플 드롭아웃 모듈을 적용한다.
• 드롭아웃 메커니즘은 샘플의 비율을 제어하기 위한 하이퍼파rameter $ p $ 를 사용하며, 실험에서 $ p=0.8 $ 가 최적으로 확인되었다.
• 모델 기반 강화학습 알고리즘을 사용해 시뮬레이션 환경 내 탐색과 실제 데이터 수집 간 균형을 맞추어 정책을 최적화한다.
• 표준 및 교란된 환경에서 하이퍼파ram터 민감도를 평가하여 강인성과 성능 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습은 비용이 높은 실제 상호작용이 수반되는 실세계 온실 제어에서 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 샘플 드롭아웃 메커니즘이 극한의 환경 조건에서 정책의 강인성을 어느 정도 향상시키는가?
• RQ3 성능과 강인성의 균형을 고려할 때 샘플 드롭아웃 모듈의 최적 하이퍼파ram터 설정은 무엇인가?
• RQ4 제안된 프레임워크는 정상 및 비정상 조건에서 기준 강화학습 방법에 비해 수확량과 유지율 측면에서 어떻게 비교되는가?
• RQ5 앙상블 모델 기반 접근법은 극한 온도 및 낮은 일조량과 같은 다양한 환경적 외란에 일반화될 수 있는가?

주요 결과

• 고온 조건(35–40°C)에서 제안된 방법은 45.24g의 신선 중량과 85.35%의 유지율을 기록하여 기준 방법에 비해 뚜렷이 뛰어난 성능을 보였다.
• 저온 조건(−2–10°C)에서는 38.49g의 신선 중량과 72.62%의 유지율을 기록하여 더 높은 내구성을 입증했다.
• 고습도 조건(90%)에서는 39.30g의 신선 중량과 74.16%의 유지율을 기록하여 스트레스 조건에서도 일관된 성능을 보였다.
• 일조량이 0인 조건(Iglob=0)에서는 43.71g의 신선 중량과 82.47%의 유지율을 기록하여 저조도 극한 조건에 대한 강력한 적응 능력을 보였다.
• 최적의 드롭아웃 하이퍼파ram터 $ p=0.8 $ 가 확인되었으며, $ p<0.8 $ 일 경우 성능과 강인성이 뚜렷이 저하되었다.
• 네 가지 교란 환경(다양한 온도 및 CO₂ 수준)에서 프레임워크는 $ p=0.8 $ 에서 평균 순수 이익이 가장 높게 나타나 강인성을 입증했다.