[論文レビュー] Robust Model-based Reinforcement Learning for Autonomous Greenhouse Control

Wanpeng Zhang, Xiaoyan Cao+4 more|arXiv (Cornell University)|Aug 26, 2021

Greenhouse Technology and Climate ControlAgricultural and Biological Sciences参考文献 30被引用数 20

ひとこと要約

本稿では、サンプル効率性と安全性を向上させる、自律的温室制御のためのロバストなモデルベース強化学習フレームワークを提案する。シミュレーションベースのポリシー最適化に環境モデルのアンサンブルを用い、極端な状況下でもベースライン手法よりも高い作物収量と保持率を達成するため、サンプルドロップアウトモジュールを導入して最も深刻な状況に学習を集中させる。

ABSTRACT

Due to the high efficiency and less weather dependency, autonomous greenhouses provide an ideal solution to meet the increasing demand for fresh food. However, managers are faced with some challenges in finding appropriate control strategies for crop growth, since the decision space of the greenhouse control problem is an astronomical number. Therefore, an intelligent closed-loop control framework is highly desired to generate an automatic control policy. As a powerful tool for optimal control, reinforcement learning (RL) algorithms can surpass human beings' decision-making and can also be seamlessly integrated into the closed-loop control framework. However, in complex real-world scenarios such as agricultural automation control, where the interaction with the environment is time-consuming and expensive, the application of RL algorithms encounters two main challenges, i.e., sample efficiency and safety. Although model-based RL methods can greatly mitigate the efficiency problem of greenhouse control, the safety problem has not got too much attention. In this paper, we present a model-based robust RL framework for autonomous greenhouse control to meet the sample efficiency and safety challenges. Specifically, our framework introduces an ensemble of environment models to work as a simulator and assist in policy optimization, thereby addressing the low sample efficiency problem. As for the safety concern, we propose a sample dropout module to focus more on worst-case samples, which can help improve the adaptability of the greenhouse planting policy in extreme cases. Experimental results demonstrate that our approach can learn a more effective greenhouse planting policy with better robustness than existing methods.

研究の動機と目的

• 実世界の温室自動化における強化学習のための高いサンプルコストと安全リスクに対処すること。
• シミュレートされたロールアウトに学習された環境モデルのアンサンブルを活用することで、訓練におけるサンプル効率性を向上させること。
• 最悪事象に焦点を当てることで、環境の摂動に対するポリシーのロバスト性を向上させるサンプルドロップアウト機構を導入すること。
• 実世界の温室において、作物収量とエネルギー効率をバランスさせるクローズドループでデータ駆動型の制御システムを構築すること。
• シミュレーションとアブレーションスタディを通じて、標準的および異常な環境条件下でのフレームワークの優位性を検証すること。

提案手法

• フレームワークは、温室環境をシミュレートするニューラルネットワークモデルのアンサンブルを採用し、Dynaスタイルの計画による効率的なポリシー訓練を可能にする。
• 実世界の相互作用データを用いて環境モデルアンサンブルを訓練し、その後、合成ロールアウトを生成して訓練データを拡張する。
• ポリシー最適化中に高報酬サンプルを選択的に除外するサンプルドロップアウトモジュールを導入し、低確率で高リスクのシナリオに学習を集中させる。
• ドロップアウト機構は、破棄されるサンプルの割合を制御するハイパーパrameter $ p $ を使用し、実験では $ p=0.8 $ が最適であると判明した。
• モデルベース強化学習アルゴリズムを用いてポリシーを最適化し、シミュレート環境における探索と実世界データ収集のバランスを取る。
• 標準的および摂動のある環境でハイパーパrameterの感度を評価し、ロバスト性と性能安定性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習は、高価な実世界の相互作用を伴う実世界の温室制御において、どのようにサンプル効率性を向上させ得るか？
• RQ2 サンプルドロップアウト機構は、極端な環境条件下でポリシーのロバスト性をどの程度向上させるか？
• RQ3 パフォーマンスとロバスト性のバランスを考慮した場合、サンプルドロップアウトモジュールの最適ハイパーパrameter設定は何か？
• RQ4 本稿で提案するフレームワークは、標準的および異常な条件下で、ベースラインRL手法と比較して作物収量および保持率においてどの程度優れているか？
• RQ5 アンサンブルモデルベースのアプローチは、極端な温度や低日射量などの多様な環境的摂動に対して一般化可能か？

主な発見

• 高温条件（35–40°C）下で、提案手法は45.24gの新鮮重量と85.35％の保持率を達成し、ベースラインを顕著に上回った。
• 低温条件（−2–10°C）下で、38.49gの新鮮重量と72.62％の保持率を達成し、耐性性の向上を示した。
• 高湿度（90％）下でも、39.30gの新鮮重量と74.16％の保持率を達成し、ストレス下でも一貫した性能を示した。
• 日射量が0（Iglob=0）の状況下では、43.71gの新鮮重量と82.47％の保持率を達成し、低照度極端状態への強い適応性を示した。
• 最適なドロップアウトハイパーパrameter $ p=0.8 $ が特定され、$ p<0.8 $ の場合、性能とロバスト性が顕著に低下した。
• 4つの摂動環境（温度およびCO₂の変動）において、フレームワークは最高の平均利益を示し、$ p=0.8 $ で最も優れたロバスト性を示した。