[論文レビュー] Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs

Stefan Werner, Sebastian Peitz|arXiv (Cornell University)|Feb 14, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、偏微分方程式（PDE）の制御におけるサンプル効率を著しく向上させる、データ駆動型で制御可能な畳み込みLSTM補間モデルを用いたモデルベース強化学習フレームワークを提案する。RLエージェントと補間モデルを同時に学習し、誤差の蓄積を低減するための反復的モデル更新を施すことで、モデルフリー手法と比較してデータ要件を1桁低減する。アブレーションスタディにより、オンラインでのモデル適応とアンサンブルベースのロールアウトが安定性と性能に不可欠であることが確認された。

ABSTRACT

The goal of this paper is to make a strong point for the usage of dynamical models when using reinforcement learning (RL) for feedback control of dynamical systems governed by partial differential equations (PDEs). To breach the gap between the immense promises we see in RL and the applicability in complex engineering systems, the main challenges are the massive requirements in terms of the training data, as well as the lack of performance guarantees. We present a solution for the first issue using a data-driven surrogate model in the form of a convolutional LSTM with actuation. We demonstrate that learning an actuated model in parallel to training the RL agent significantly reduces the total amount of required data sampled from the real system. Furthermore, we show that iteratively updating the model is of major importance to avoid biases in the RL training. Detailed ablation studies reveal the most important ingredients of the modeling process. We use the chaotic Kuramoto-Sivashinsky equation do demonstarte our findings.

研究の動機と目的

• 複雑なPDEに支配されるシステムの制御における強化学習（RL）の高いサンプル複雑性、すなわち数千万〜数億回の環境相互作用を必要とする問題に対処すること。
• RL学習と並行して補間モデルを学習することで、サンプル効率の高い制御に必要なデータ量を著しく削減できるかどうかを調査すること。
• モデル誤差の蓄積がポリシー学習に与える影響を評価し、低データ環境下でのモデルベースRLの安定化に寄与するメカニズムを同定すること。
• カオス的PDEに対して、反復的モデル更新とアンサンブルロールアウトを組み合わせたモデルベースRLが、モデルフリーおよび単純なモデルベースのベースラインを上回ることを実証すること。
• 補間モデリングがPDE制御におけるサンプル効率の向上に単なる利点ではなく、本質的不可欠要因であることを実証的根拠とアブレーションスタディで示すこと。

提案手法

• 時間的変化を予測するための畳み込みLSTMを補間モデルとして学習し、制御入力をモデルアーキテクチャに直接統合することで、予測精度を向上させる。
• RLエージェントと補間モデルをエンドツーエンドで同時に学習させ、エージェントが本物の環境相互作用に依存せずにモデルベースのロールアウトを活用してポリシーを改善できるようにする。
• 学習中にモデル重みを反復的に更新することで、バイアス蓄積を防ぎ、誤差の蓄積を低減し、補間モデルが真のシステムダイナミクスと整合したまま保たれるようにする。
• 多様な探索を促進し学習を安定化させるためにアンサンブルベースのモデルロールアウトを用い、段階的にロールアウト長を増加させるカリキュラム学習戦略を採用する。
• アブレーションスタディでは、オンラインでのモデル更新なし、アンサンブルなし、または代替の補間アーキテクチャを用いたバリアントと比較することで、主な構成要素を隔離して評価する。
• 本手法は、非線形PDE制御のベンチマークとして知られるカオス的Kuramoto-Sivashinsky方程式を対象とし、ポリシー性能と一般化能力を評価するためのオフライン評価指標を用いて評価された。

Figure 1: In model-based RL with learned models, collected data serves two purposes. Samples are used to learn a model of the system dynamics and to estimate update targets for the model-free agent. Using rollouts of the agent in the model, algorithms collect additional data to improve their behavio

実験結果

リサーチクエスチョン

• RQ1 RL学習と並行して補間モデルを学習することで、PDE制御におけるサンプル効率の高い制御に必要な本物の環境相互作用回数を削減できるか？
• RQ2 反復的モデル更新は、低データ環境下におけるモデルベースRLの安定性と収束性にどのように影響するか？
• RQ3 モデル誤差の蓄積はポリシー性能にどのような影響を及ぼし、どのように緩和できるか？
• RQ4 アンサンブルベースのロールアウトとカリキュラム学習は、固定長または単一モデルのロールアウトと比較して、学習プロセスの安定化にどのように寄与するか？
• RQ5 一般化性能とサンプル効率の観点から、残差ベースの補間モデルは、全状態予測モデルを上回るか？

主な発見

• 提案されたモデルベースRLアプローチにより、モデルフリーのベースラインと比較して、必要な環境サンプル総数が約1桁低減された。
• 反復的モデル更新は、バイアス蓄積を防ぎ、ポリシー性能を維持するために不可欠である。静的モデルでは学習が不安定になり、一般化性能が著しく低下する。
• アンサンブルベースのロールアウトは、学習の安定性を著しく向上させ、分散を低減し、誤差を悪用しやすい単一モデルロールアウトを上回る性能を示した。
• 全状態予測を用いた補間アブレーションでは、初期段階の予測誤差が持続するため、真のシステムへの一般化に失敗した。たとえ収束が安定していても同様であった。
• ランダム探索だけでは関連する状態空間を十分にカバーできず、予測誤差が時間経過とともに蓄積することで、ポリシー最適化が発散した。
• オンラインでのモデル適応、アンサンブル化、カリキュラム学習を組み合わせた完全な手法が、最も安定的かつ高い性能を示し、試行間の標準偏差も最小であった。

Figure 2: Our surrogate model is composed of a state encoder $f_{\boldsymbol{\theta}_{\mathrm{enc}}}$ (yellow), an action encoder $f_{\boldsymbol{\psi}_{\mathrm{enc}}}$ (red) and a convolutional LSTM cell $f_{\boldsymbol{\theta}_{\mathrm{fwd}}}$ (green) modeling the transition dynamics, as well as a