[論文レビュー] Physics-informed Dyna-Style Model-Based Deep Reinforcement Learning for Dynamic Control

Xin‐Yang Liu, Jianxun Wang|arXiv (Cornell University)|Jul 30, 2021

Model Reduction and Neural Networks参考文献 89被引用数 41

ひとこと要約

本論文は、偏微分方程式などの支配的物理法則を深層ニューラルネットワークの動的モデルに統合することで、モデルバイアスを低減し、サンプル効率を向上させる物理則に基づくモデル化強化学習フレームワーク（PiMBRL）を提案する。訓練中に物理的制約を課すことにより、カオス的系（例：Kuramoto-Sivashinsky方程式）において、モデルフリーまたは完全にデータ駆動のモデルベース手法よりも高い予測精度とより速い収束を達成する。

ABSTRACT

Model-based reinforcement learning (MBRL) is believed to have much higher sample efficiency compared to model-free algorithms by learning a predictive model of the environment. However, the performance of MBRL highly relies on the quality of the learned model, which is usually built in a black-box manner and may have poor predictive accuracy outside of the data distribution. The deficiencies of the learned model may prevent the policy from being fully optimized. Although some uncertainty analysis-based remedies have been proposed to alleviate this issue, model bias still poses a great challenge for MBRL. In this work, we propose to leverage the prior knowledge of underlying physics of the environment, where the governing laws are (partially) known. In particular, we developed a physics-informed MBRL framework, where governing equations and physical constraints are utilized to inform the model learning and policy search. By incorporating the prior information of the environment, the quality of the learned model can be notably improved, while the required interactions with the environment are significantly reduced, leading to better sample efficiency and learning performance. The effectiveness and merit have been demonstrated over a handful of classic control problems, where the environments are governed by canonical ordinary/partial differential equations.

研究の動機と目的

• データが不足する状況や分布外領域において顕著なモデルバイアスを生じるモデルベース強化学習（MBRL）における根本的課題に対処すること。
• 実世界での相互作用が高コストかつ危険な、PDEに従う複雑な物理系（例：流体の流れ）のためのRLエージェントを訓練する際のサンプル効率を向上させること。
• 既知の物理法則（例：支配的PDE）をインダクティブバイアスとして活用し、学習された動的モデルを制約・正則化することで、過学習を低減し、一般化性能を向上させること。
• 物理則に基づく制約を統合した包括的フレームワークを構築し、動的モデルとポリシーを同時に最適化することで、より速くより強固な学習を可能にすること。
• 代表的なカオス的制御問題において、モデルフリーおよび完全にデータ駆動のMBRLと比較して、物理則に基づく手法の優位性を実証すること。

提案手法

• 既知の支配的方程式（例：粘性Burgers方程式およびKuramoto-Sivashinsky PDE）を、モデル学習中にソフト制約として埋め込む物理則に基づくMBRLフレームワーク（PiMBRL）を提案する。
• 限られた環境相互作用からの時空間的動的挙動を自己符号化に基づく再帰的ニューラルネットワークで学習し、物理的制約を損失項を通じて課す。
• モデルの精度閾値λを導入し、モデルによるロールアウトを実行するタイミングを動的に決定する。これにより、探索と活用のバランスを取る。
• モデルとポリシーを、二重遅延深層決定的方策勾配（TD3）アルゴリズムを用いて同時に学習する。モデルはデータと物理法則の両方の情報に基づいてガイドされる。
• PDEの残差を最小化する手法を用いて、損失関数に物理的制約を組み込み、モデルが物理的挙動を尊重することを保証する。
• 実環境遷移（Dr）とモデル生成ロールアウト（Df）を組み合わせたハイブリッドリプレイバッファを用い、データ効率を向上させるための閾値ベースの切り替えメカニズムを導入する。

実験結果

リサーチクエスチョン

• RQ1 MBRLの動的モデルに既知の物理法則を統合することで、カオス的系におけるモデルバイアスを顕著に低減し、予測精度を向上させることができるか？
• RQ2 サンプル効率および最終的な性能の観点から、物理則に基づくモデルベース手法は、モデルフリーおよび完全にデータ駆動のMBRLと比較してどのように異なるか？
• RQ3 モデルの精度閾値λがRLエージェントの学習速度および収束性に与える影響は何か？
• RQ4 物理則に基づくモデルとポリシーの共同学習は、分布外領域における一般化性とロバスト性をどのように向上させるか？
• RQ5 高次元で複雑な動的挙動を示すデータが不足する環境において、物理則に基づく制約は過学習をどの程度低減できるか？

主な発見

• 物理的制約の統合のおかげで、特に長時間スパンのロールアウトにおいて、純粋にデータ駆動のMBRLよりも顕著に高いモデル予測精度を達成する。
• 本手法は優れたサンプル効率を示し、モデルフリーおよび標準的なMBRLベースラインと比較して、より速く収束し、より高い総報酬に到達する。
• Kuramoto-Sivashinsky（KS）系では、λ = 0.02の設定が、λ = 0.01 や λ = 0.005 よりもわずかに早い初期収束を達成しており、これはモデル生成データへの早期アクセスに起因する。
• 全テスト済みのλ値（0.02、0.01、0.005）において、最終的な性能は同等に近づくことが確認された。これは、ポリシーと共同で学習されることにより、モデル品質が同程度の水準に収束するためである。
• 物理法則をインダクティブバイアスとして埋め込むことで、データが不足する状況および分布外領域において、過学習の低減とロバスト性の向上が有効に実現された。
• 粘性Burgers方程式およびKS方程式に対する実験的結果から、PiMBRLがモデル精度、学習速度、および最終報酬の観点で、両方のベースライン（モデルフリーおよびデータ駆動MBRL）を上回ることが確認された。