[논문 리뷰] A SWAT-based Reinforcement Learning Framework for Crop Management

Malvern Madondo, Muneeza Azmat외 6명|arXiv (Cornell University)|2023. 02. 10.

Irrigation Practices and Water ManagementAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 농업 생장과 수자원 관리 전략을 유역 수준에서 시뮬레이션하기 위해 Soil and Water Assessment Tool(SWAT)을 활용하는 OpenAI Gym 기반 강화학습 환경인 SWATGym을 소개한다. 동적 토양-수분-식물-대기 상호작용을 통합하고 수확량, 비용, 환경 영향을 최적화함으로써 이 프레임워크는 강화학습 에이전트의 효율적 벤치마킹을 가능하게 하며, 결과적으로 DDPG 및 TD3와 같은 고급 알고리즘을 통해 기존 전략에 비해 뚜렷한 성능 향상을 보여준다.

ABSTRACT

Crop management involves a series of critical, interdependent decisions or actions in a complex and highly uncertain environment, which exhibit distinct spatial and temporal variations. Managing resource inputs such as fertilizer and irrigation in the face of climate change, dwindling supply, and soaring prices is nothing short of a Herculean task. The ability of machine learning to efficiently interrogate complex, nonlinear, and high-dimensional datasets can revolutionize decision-making in agriculture. In this paper, we introduce a reinforcement learning (RL) environment that leverages the dynamics in the Soil and Water Assessment Tool (SWAT) and enables management practices to be assessed and evaluated on a watershed level. This drastically saves time and resources that would have been otherwise deployed during a full-growing season. We consider crop management as an optimization problem where the objective is to produce higher crop yield while minimizing the use of external farming inputs (specifically, fertilizer and irrigation amounts). The problem is naturally subject to environmental factors such as precipitation, solar radiation, temperature, and soil water content. We demonstrate the utility of our framework by developing and benchmarking various decision-making agents following management strategies informed by standard farming practices and state-of-the-art RL algorithms.

연구 동기 및 목표

• 기후 변화, 자원 부족, 경제 변동성 등의 도전 과제를 해결하기 위해 머신러닝을 활용한 농업 관리 전략 최적화를 목표로 한다.
• 토양, 수자원, 기상, 작물 간의 복잡하고 동적인 상호작용을 공간적·시간적 차원에서 정확하게 모델링하는 시뮬레이션 환경을 개발한다.
• 확장 가능한 강화학습 벤치마킹을 통해 실제 적용 전에 다양한 농업 관리 전략을 효율적이고 저비용으로 평가할 수 있도록 한다.
• 지능적인 의사결정을 통해 비료 및 관개 투입량을 최소화하고 수확량을 극대화함으로써 환경 영향과 운영 비용을 줄인다.
• 연구자 및 실무자들이 사용할 수 있도록 투명하고 커스터마이징 가능하며 확장 가능한 플랫폼을 제공함으로써 AI 기반 지속 가능한 농업의 보급을 지원한다.

제안 방법

• 텍사스 A&M의 SWAT 모델 기반으로 개발된 OpenAI Gym 호환 환경인 SWATGym을 구축하여 유역 수준의 농업 생장 역학을 시뮬레이션한다.
• 실제 지리적, 기상학적, 토양 데이터를 통합하여 일일 시간 해상도와 고해상도 공간 해상도로 토양-수분-식물-대기 시스템을 모델링한다.
• 수확량, 비료 및 관개 투입 비용, 환경 영향(예: 영양염 유출)을 균형 있게 고려한 보상 함수를 정의한다.
• 간단한 API를 통해 새로운 또는 기존 관리 전략을 상태 기반 강화학습 에이전트와 비교 평가할 수 있도록 커스터마이징 가능한 관리 전략 구현을 가능하게 한다.
• 동일한 환경에서 랜덤, 표준, 반응형, DDPG, TD3 등 다양한 강화학습 에이전트를 훈련 및 평가하여 성능을 비교 분석한다.
• 총 투입량 제한 및 임계치 초과 시 조기 종료 등의 제약 조건을 통합하여 실제 운영 제약 조건을 반영한다.

실험 결과

연구 질문

• RQ1 SWAT 기반 강화학습 프레임워크는 다양한 환경 조건에서 실제적인 농업 생장과 관리 결정을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 다양한 강화학습 알고리즘이 비료 및 관개 투입량을 최소화하고 환경 영향을 줄이며 수확량을 최적화하는 데 어떻게 비교되는가?
• RQ3 SWATGym과 같은 시뮬레이션 환경은 실제 시험과 비교해 새로운 농업 관리 전략 평가에 소요되는 비용과 시간을 얼마나 줄일 수 있는가?
• RQ4 계절적 강수량, 기온, 일조량과 같은 동적 환경 변수의 포함 여부가 강화학습 기반 관리 정책의 성능에 어떤 영향을 미치는가?
• RQ5 특히 소규모 농업 농가 환경에서 시뮬레이션된 강화학습 제안 사항을 실제 농업 관행과 일치시키는 데 있어 주요 과제는 무엇인가?

주요 결과

• DDPG 에이전트는 평균 수익 $4169.202 ± 2249.513을 기록하여 랜덤 에이전트($-4547.152 ± 146.386)와 표준 기준($4396.402 ± 13.116)을 크게 앞서며 고급 강화학습의 관리 전략 최적화에 기여하는 가치를 입증한다.
• TD3 에이전트는 평균 수익 $3344.010 ± 4519.612를 기록하여 강력한 성능를 보였지만 변동성이 크며, 하이퍼파라미터나 환경 노이즈에 민감함을 시사한다.
• 반응형 에이전트는 수익 $279.121 ± 32.234를 기록하여 단순 규칙 기반 전략이 랜덤 행동에 비해 약간의 이점을 보일 수 있지만, 학습 기반 접근에 비해 떨어진다.
• 표준 에이전트는 고정된 관리 일정을 사용하여 수익 $4396.402 ± 13.116를 기록하며 강력한 기준선을 제공하며, 일관된 적용이 이루어질 경우 전통적 관행도 효과적일 수 있음을 시사한다.
• 이 프레임워크는 증발산발산 및 유출의 계절적 변동을 성공적으로 포착하여, 유출을 방지하기 위한 조기 시즌 비료 투입 전략과 같은 시간에 민감한 전략 학습이 가능함을 보여준다.
• SWATGym은 벤치마킹 플랫폼으로서의 실현 가능성을 입증하였으며, 빠른 전략 평가를 가능하게 하고 강화학습이 기후 적응형 지속 가능한 농업을 지원할 잠재력을 드러냈다.