[論文レビュー] Reinforcement Learning Versus Model Predictive Control on Greenhouse Climate Control

Bernardo Morcego, Wenjie Yin+4 more|arXiv (Cornell University)|Mar 10, 2023

Greenhouse Technology and Climate ControlAgricultural and Biological Sciences被引用数 3

ひとこと要約

本稿では、レタス栽培のための詳細な物理モデルを用いた統合フレームワーク内で、モデル予測制御（MPC）と強化学習（RL）を提案および比較する。エネルギー効率性と制約処理の観点からMPCが優れた性能を示す一方で、RLは不確実性下でも特にデータ駆動型最適化の観点で高い適応性と潜在的利点を示すことが明らかになった。

ABSTRACT

Greenhouse is an important protected horticulture system for feeding the world with enough fresh food. However, to maintain an ideal growing climate in a greenhouse requires resources and operational costs. In order to achieve economical and sustainable crop growth, efficient climate control of greenhouse production becomes essential. Model Predictive Control (MPC) is the most commonly used approach in the scientific literature for greenhouse climate control. However, with the developments of sensing and computing techniques, reinforcement learning (RL) is getting increasing attention recently. With each control method having its own way to state the control problem, define control goals, and seek for optimal control actions, MPC and RL are representatives of model-based and learning-based control approaches, respectively. Although researchers have applied certain forms of MPC and RL to control the greenhouse climate, very few effort has been allocated to analyze connections, differences, pros and cons between MPC and RL either from a mathematical or performance perspective. Therefore, this paper will 1) propose MPC and RL approaches for greenhouse climate control in an unified framework; 2) analyze connections and differences between MPC and RL from a mathematical perspective; 3) compare performance of MPC and RL in a simulation study and afterwards present and interpret comparative results into insights for the application of the different control approaches in different scenarios.

研究の動機と目的

• モデル予測制御（MPC）と強化学習（RL）を温室気候制御において統合的フレームワークで比較するための枠組みを構築すること。
• 温室システムを文脈として、MPCとRLの間の数学的関係および相違点を分析すること。
• 変動する環境的および運用的条件下でのシミュレーションを通じて、MPCとRLの性能を評価および比較すること。
• モデルベースと学習ベースの制御アプローチの長所を活かすために、MPCとRLの統合を検討すること。
• TD3、PPO、SACなどのRLアルゴリズムのスケーラビリティおよびロバストネスを、複雑な温室制御シナリオにおいて評価すること。

提案手法

• レタスを含む温室の連続時間非線形力学的モデルを定式化し、光合成、蒸散、CO2および湿度の交換、温度ダイナミクスを捉える。
• 数値シミュレーションおよび制御実装を可能にするために、明示的4次ルンゲ＝クッタ法を用いて連続時間モデルを離散化する。
• 状態変数および制御変数に制約を課した再帰的ホライズン最適化フレームワークを用いて、モデル予測制御（MPC）戦略を実装する。
• 深層決定的方策勾配に基づくアルゴリズム（例：TD3、PPO、SAC）を用いて、同じ離散時間モデル上で最適制御方策を学習する強化学習（RL）を適用する。
• 制御の目的は、最適な温度、CO2濃度、湿度を維持するとともに、エネルギーおよび運用コストを最小化すること。
• エネルギー使用量、制約違反、追従精度といった指標を用いて、変動する天候および設定値条件の下で24時間にわたるシミュレーションを通じて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 MPCとRLは、温室気候制御においてエネルギー効率性、制約処理、追従性能の観点でどのように比較されるか？
• RQ2 同じ温室制御問題に適用した場合、MPCとRLの間の主な数学的および構造的相違点は何か？
• RQ3 同じシミュレーション条件下で、異なるRLアルゴリズム（TD3、PPO、SAC）はMPCに対してどのように性能を発揮するか？
• RQ4 どのような状況でRLがMPCを上回り、逆にMPCが優位性を示す状況は何か？
• RQ5 MPCとRLを統合してハイブリッド制御戦略を構築する場合、どのような意味合いがあるか？

主な発見

• MPCは、CO2濃度および温度を所定の範囲内に維持する観点から、エネルギー効率性および制約満足度において一貫してRLを上回る。
• RLは変化する環境条件への高い適応性を示し、正確なシステムモデルがなくても効果的な制御方策を学習できる。
• TD3やSACなどのRLアルゴリズムの性能はハイパーパrameterチューニングに敏感であり、PPOはシミュレーションにおいてより安定した学習行動を示した。
• 標準運用条件下では、MPCはRLに比べて最大10％のエネルギー消費量の低減を達成しており、曇りなどの摂動が加わった場合に顕著である。
• シミュレーション結果から、MPCはCO2レベルの制御をよりきめ細かく維持し、制約違反をRLよりも効果的に回避していることが明らかになった。一方、RLは探索のため一時的に設定値を超えることがある。
• MPCとRLの統合は有望な方向性であると特定された。MPCは安全性と制約処理を保証する一方で、RLは長期的かつ不確実な摂動への適応性を高める。