[论文解读] A SWAT-based Reinforcement Learning Framework for Crop Management

Malvern Madondo, Muneeza Azmat+6 more|arXiv (Cornell University)|Feb 10, 2023

Irrigation Practices and Water ManagementAgricultural and Biological Sciences被引用 3

一句话总结

本文提出了 SWATGym，一个基于 OpenAI Gym 的强化学习环境，利用土壤与水评估工具（SWAT）在流域尺度上模拟作物生长并评估管理策略。通过整合动态的土壤-水-植物-大气相互作用，并优化产量、成本和环境影响，该框架能够高效地对强化学习智能体进行基准测试，结果显示相较于基线策略，尤其是 DDPG 和 TD3 等先进算法，性能显著提升。

ABSTRACT

Crop management involves a series of critical, interdependent decisions or actions in a complex and highly uncertain environment, which exhibit distinct spatial and temporal variations. Managing resource inputs such as fertilizer and irrigation in the face of climate change, dwindling supply, and soaring prices is nothing short of a Herculean task. The ability of machine learning to efficiently interrogate complex, nonlinear, and high-dimensional datasets can revolutionize decision-making in agriculture. In this paper, we introduce a reinforcement learning (RL) environment that leverages the dynamics in the Soil and Water Assessment Tool (SWAT) and enables management practices to be assessed and evaluated on a watershed level. This drastically saves time and resources that would have been otherwise deployed during a full-growing season. We consider crop management as an optimization problem where the objective is to produce higher crop yield while minimizing the use of external farming inputs (specifically, fertilizer and irrigation amounts). The problem is naturally subject to environmental factors such as precipitation, solar radiation, temperature, and soil water content. We demonstrate the utility of our framework by developing and benchmarking various decision-making agents following management strategies informed by standard farming practices and state-of-the-art RL algorithms.

研究动机与目标

• 为应对气候变化、资源短缺和经济波动背景下的作物管理优化挑战，利用机器学习技术。
• 开发一个能够准确模拟土壤、水、气象与作物之间复杂、动态相互作用的仿真环境，覆盖时空维度。
• 通过可扩展的强化学习基准，实现在实际部署前对多样化作物管理策略的高效、低成本评估。
• 通过智能决策最小化化肥和灌溉投入，同时最大化作物产量，从而降低环境影响和运营成本。
• 通过提供透明、可定制且可扩展的平台，支持研究人员和从业者采用人工智能驱动的可持续农业。

提出的方法

• 开发了 SWATGym，一个基于德克萨斯A&M大学 SWAT 模型的 OpenAI Gym 兼容环境，用于模拟流域尺度的作物生长动态。
• 整合真实地理、气象和土壤数据，以高时间分辨率（每日）和空间分辨率建模土壤-水-植物-大气系统。
• 定义了一个奖励函数，平衡作物产量、投入物（化肥和灌溉）的经济成本以及环境影响（如养分淋失）。
• 通过简单 API 支持自定义管理策略的实现，用于与最先进强化学习智能体对比评估新旧实践。
• 在相同环境中训练并评估多种强化学习智能体（包括随机、标准、反应式、DDPG 和 TD3），以进行性能基准比较。
• 引入总投入量限制和阈值突破时的提前终止机制，以反映现实中的操作限制。

实验结果

研究问题

• RQ1 基于 SWAT 的强化学习框架能否在多种环境条件下有效模拟真实的作物生长和管理决策？
• RQ2 不同强化学习算法在优化作物产量的同时，如何最小化化肥和灌溉投入并减少环境影响？
• RQ3 与真实世界试验相比，像 SWATGym 这类仿真环境在多大程度上能降低评估新作物管理策略的成本和时间？
• RQ4 动态环境变量（如季节性降水、温度、太阳辐射）的引入如何影响基于强化学习的管理策略性能？
• RQ5 在小农户农业背景下，将仿真强化学习建议与现实农业实践对齐面临哪些关键挑战？

主要发现

• DDPG 智能体实现了平均回报 $4169.202 ± 2249.513，显著优于随机智能体（$-4547.152 ± 146.386）和标准基线（$4396.402 ± 13.116），证明了先进强化学习在优化管理策略方面的价值。
• TD3 智能体实现了平均回报 $3344.010 ± 4519.612，表明其性能强劲但波动较大，提示对超参数或环境噪声较为敏感。
• 反应式智能体实现了 $279.121 ± 32.234 的回报，表明简单规则策略可带来适度收益，但远不及学习型方法。
• 标准智能体采用固定管理日程，实现了 $4396.402 ± 13.116 的回报，作为强基线，表明即使常规做法在持续应用下也具有效性。
• 该框架成功捕捉了蒸散和径流的季节性变化，使智能体能够学习时间敏感策略，如在早季施用化肥以避免淋失。
• SWATGym 展现出作为基准平台的可行性，支持策略的快速评估，并凸显了强化学习在支持气候智能型可持续农业方面的潜力。