[논문 리뷰] gym-DSSAT: a crop model turned into a Reinforcement Learning environment

Romain Gautron, Emilio J. Padrón외 4명|arXiv (Cornell University)|2022. 07. 07.

Evolutionary Algorithms and Applications참고 문헌 51인용 수 11

한 줄 요약

이 논문은 고정밀도 DSSAT 작물 시뮬레이션 모델을 OpenAI Gym 프레임워크에 통합한 오픈소스 강화학습(RL) 환경인 gym-DSSAT을 소개한다. 이 환경을 통해 RL 에이전트는 옥수수 비료 및 관개 전략을 최적화할 수 있으며, 지속 가능한 관행 발견이 가능하다. 初기 결과로 RL이 수확량을 유지하면서 자원 사용을 줄이는 데 전문가 정책을 능가하는 것으로 나타났다.

ABSTRACT

Addressing a real world sequential decision problem with Reinforcement Learning (RL) usually starts with the use of a simulated environment that mimics real conditions. We present a novel open source RL environment for realistic crop management tasks. gym-DSSAT is a gym interface to the Decision Support System for Agrotechnology Transfer (DSSAT), a high fidelity crop simulator. DSSAT has been developped over the last 30 years and is widely recognized by agronomists. gym-DSSAT comes with predefined simulations based on real world maize experiments. The environment is as easy to use as any gym environment. We provide performance baselines using basic RL algorithms. We also briefly outline how the monolithic DSSAT simulator written in Fortran has been turned into a Python RL environment. Our methodology is generic and may be applied to similar simulators. We report on very preliminary experimental results which suggest that RL can help researchers to improve sustainability of fertilization and irrigation practices.

연구 동기 및 목표

• 농업 시뮬레이션과 강화학습 간 격차를 해소하기 위해 작물 관리용 사용자 친화적이고 오픈소스인 RL 환경을 구축하기 위해.
• 광범위하게 신뢰받는 DSSAT 모델을 사용해 실제 데이터 기반의 작물 관리 과제에 대해 연구자들이 RL 에이전트를 훈련시킬 수 있도록 하기 위해.
• 전문가가 정의한 정책보다 더 지속 가능한 비료 및 관개 관행을 RL을 통해 발견할 수 있는지 입증하기 위해.
• 단일 모듈형 Fortran 기반 기계적 시뮬레이터를 모듈형 Python 기반 RL 환경으로 전환하는 일반화된 방법론을 제공하기 위해.
• Docker 컨테이너와 아티팩트 공유를 통해 재현 가능성을 확보하고, 결과의 다팀 검증을 지원하기 위해.

제안 방법

• 원래 Fortran으로 작성된 DSSAT 작물 시뮬레이터를 PDI(Pseudo-Data Interface) 라이브러리를 사용해 입력/출력 및 시뮬레이션 제어를 처리하는 Python 기반 OpenAI Gym 환경으로 래핑하였다.
• 환경은 토양 수분, 영양소 농도, 기상 데이터 등 연속적인 상태 공간을 노출하며, 관개 및 비료 투여 결정에 대한 액션 공간을 제공한다.
• 실제 옥수수 농장 실험 데이터를 사용해 시뮬레이션을 초기화하여 훈련 환경에서 생태학적 및 농업학적 현실성을 확보한다.
• RL 에이전트는 마르코프 결정 과정(MDP)을 통해 환경과 상호작용하며, 수확량, 단백질 함량, 자원 사용 효율성 기반의 조밀한 보상(reward)을 수신한다.
• 기본 성능 평가로 Stable-Baselines3의 PPO 알고리즘을 사용해 사전 정의된 비료 및 관개 시나리오에서 성능을 평가하였다.
• Docker 컨테이너와 아티팩트 공유를 통해 재현 가능성을 향상시켰지만, Fortran 컴파일 과정에서 발생하는 부동소수점 차이로 인해 다중 플랫폼 간 재현 가능성은 여전히 도전 과제이다.

실험 결과

연구 질문

• RQ1 고정밀도 작물 시뮬레이터인 DSSAT이 작물 관리 의사결정을 위한 사용자 친화적이고 모듈형 RL 환경으로 효과적으로 전환될 수 있는가?
• RQ2 gym-DSSAT에서 훈련된 RL 에이전트는 전문가가 정의한 정책보다 더 지속 가능한 비료 및 관개 전략을 발견할 수 있는가?
• RQ3 DSSAT 시뮬레이션의 계산 비용은 일반적인 RL 환경과 비교해 어떻게 되며, 반복적인 RL 훈련에 대해 실현 가능한가?
• RQ4 PDI 기반 인터페이스가 다양한 하드웨어 및 소프트웨어 플랫폼 간 재현 가능성을 어느 정도 보장할 수 있는가?
• RQ5 DSSAT를 변환하는 데 사용된 방법론은 Fortran, C, 또는 C++로 작성된 다른 기계적 작물 모델에 일반화될 수 있는가?

주요 결과

• gym-DSSAT는 단일 모듈형 Fortran 기반 DSSAT 시뮬레이터를 표준 Gym 인터페이스와 호환되는 기능성 있는 오픈소스 Python 기반 RL 환경으로 성공적으로 변환하였다.
• 환경은 실제 옥수수 농장 실험 기반의 현실적인 데이터 기반 시뮬레이션을 지원하여 생태학적으로 관련성이 있는 시나리오에서의 훈련을 가능하게 한다.
• 초기 실험 결과로 기본 PPO RL 에이전트가 전문가 정책보다 질소 사용을 줄이면서 수확량과 단백질 함량을 유지하거나 향상시키는 비료 투여 전략을 학습하는 데 성공하였다.
• RL을 통해 학습된 관개 정책도 수확량에 영향을 주지 않으면서 물 사용을 줄여 지속 가능성 향상을 보였으며, 이는 RL이 자원 최적화에 잠재력을 지닌다는 것을 시사한다.
• 표준 Gym 환경보다 시뮬레이션 시간이 더 길지만(단계당 평균 약 1.5초), 일반적인 RL 실험에 충분히 반응성이 있다.
• 동일한 플랫폼, 동일한 소프트웨어 및 하드웨어 스택을 사용할 경우 재현 가능성이 확보되었지만, Fortran 컴파일 과정에서 발생하는 부동소수점 산술의 차이로 인해 다중 플랫폼 간 재현 가능성은 제한되어 있다.