[論文レビュー] gym-DSSAT: a crop model turned into a Reinforcement Learning environment

Romain Gautron, Emilio J. Padrón+4 more|arXiv (Cornell University)|Jul 7, 2022

Evolutionary Algorithms and Applications参考文献 51被引用数 11

ひとこと要約

本論文では、高精度なDSSAT作物シミュレーションモデルをOpenAI Gymフレームワークに統合したオープンソースの強化学習（RL）環境であるgym-DSSATを紹介する。この環境により、RLエージェントがトウモロコシの施肥および灌漑戦略を最適化できる。環境は持続可能な実践の発見を可能にし、予備的な結果ではRLが資源使用を削減しながら収量を維持する専門家ポリシーを上回ることを示している。

ABSTRACT

Addressing a real world sequential decision problem with Reinforcement Learning (RL) usually starts with the use of a simulated environment that mimics real conditions. We present a novel open source RL environment for realistic crop management tasks. gym-DSSAT is a gym interface to the Decision Support System for Agrotechnology Transfer (DSSAT), a high fidelity crop simulator. DSSAT has been developped over the last 30 years and is widely recognized by agronomists. gym-DSSAT comes with predefined simulations based on real world maize experiments. The environment is as easy to use as any gym environment. We provide performance baselines using basic RL algorithms. We also briefly outline how the monolithic DSSAT simulator written in Fortran has been turned into a Python RL environment. Our methodology is generic and may be applied to similar simulators. We report on very preliminary experimental results which suggest that RL can help researchers to improve sustainability of fertilization and irrigation practices.

研究の動機と目的

• 農業シミュレーションと強化学習の間のギャップを埋めるために、作物管理のための使いやすく、オープンソースのRL環境を構築すること。
• 広く信頼されているDSSATモデルを用いて、現実的でデータ駆動の作物管理タスクにRLエージェントを訓練できるようにすること。
• 専門家が定義したポリシーを超えるより持続可能な施肥および灌漑戦略をRLを用いて発見できるかを実証すること。
• モノリシックでFortranベースの機械的シミュレータをモジュール化され、PythonベースのRL環境に変換する一般的な手法を提供すること。
• Dockerコンテナとアーティファクト共有を通じて再現性を確保し、研究チーム間での結果の検証を支援すること。

提案手法

• 元々Fortranで書かれたDSSAT作物シミュレータを、PDI（疑似データインターフェース）ライブラリを用いて、入出力およびシミュレーション制御を処理するPythonベースのOpenAI Gym環境にラッピングした。
• 環境は土壌水分、栄養素濃度、気象データを含む連続的状態空間を公開し、灌漑および施肥意思決定のための行動空間を提供する。
• シミュレーションは実世界のトウモロコシ畑の実験データを用いて初期化され、訓練環境における生態的・農学的現実性を保証する。
• RLエージェントはマークフ・決定過程（MDP）を通じて環境と相互作用し、収量、タンパク質含有量、資源利用効率に基づく密な報酬を受信する。
• ベースライン性能は、事前に定義された施肥および灌漑シナリオに対してStable-Baselines3のPPOアルゴリズムを用いて評価された。
• 再現性はDockerコンテナとアーティファクト共有により向上したが、Fortranコンパイルにおける浮動小数点の差異により、クロスプラットフォームでの再現性は依然として課題である。

実験結果

リサーチクエスチョン

• RQ1 DSSATのような高精度な作物シミュレータを、農業意思決定のための実用的でモジュラーなRL環境に効果的に変換できるか？
• RQ2 gym-DSSATで訓練されたRLエージェントは、専門家が定義したポリシーを上回るより持続可能な施肥および灌漑戦略を発見できるか？
• RQ3 DSSATシミュレーションの計算コストは、標準的なRL環境と比較してどの程度高く、反復的RLトレーニングに実用的か？
• RQ4 PDIベースのインターフェースは、異なるハードウェアおよびソフトウェアプラットフォーム間で再現性をどの程度保証できるか？
• RQ5 DSSATを変換する際に用いた手法は、Fortran、C、またはC++で書かれた他の機械的作物モデルに対しても一般化可能か？

主な発見

• gym-DSSATは、モノリシックなDSSAT Fortranシミュレータを、標準Gymインターフェースと互換性を持つ機能的でオープンソースのPythonベースのRL環境に成功して変換した。
• 環境は実際のトウモロコシ畑の実験に基づく現実的でデータ駆動のシミュレーションをサポートしており、生態的関連のシナリオでのトレーニングを可能にしている。
• 予備実験では、基本的なPPO RLエージェントが、専門家ポリシーと比較して窒素使用量を削減しながら収量およびタンパク質含有量を維持または向上させる施肥戦略を学習した。
• RLで学習した灌漑ポリシーも、収量に影響を与えることなく水使用量を削減することで、より持続可能な戦略であることが示され、RLによる資源最適化の可能性が示された。
• シミュレーション時間は通常のGym環境よりも高い（ステップあたり平均約1.5秒）が、一般的なRL実験には十分に応答可能な速度を維持している。
• 同じプラットフォーム、同じソフトウェアおよびハードウェアスタックを用いることで再現性が達成されたが、Fortranコンパイルにおける浮動小数点算術の差異により、クロスプラットフォームでの再現性は限定的である。