[論文レビュー] Physics-Informed Model-Based Reinforcement Learning

Adithya Ramesh, Balaraman Ravindran|arXiv (Cornell University)|Dec 5, 2022

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

この論文は、微分可能で物理法則を組み込んだニューラルネットワーク（PINN）を活用することで、サンプル効率とロボット制御タスクにおける性能を向上させる、物理則を組み込んだモデルベース強化学習（MBRL）フレームワークを提案する。物理法則を尊重するように学習されたダイナミクスモデルを用いることで、この手法は、カオス的で初期条件に敏感な環境において、標準的なMBRLよりも顕著に高い平均報酬とサンプル効率を達成し、さらにソフトアクタクリティカル（Soft Actor-Critic）のような最先端のモデルフリー手法でさえも上回る。

ABSTRACT

We apply reinforcement learning (RL) to robotics tasks. One of the drawbacks of traditional RL algorithms has been their poor sample efficiency. One approach to improve the sample efficiency is model-based RL. In our model-based RL algorithm, we learn a model of the environment, essentially its transition dynamics and reward function, use it to generate imaginary trajectories and backpropagate through them to update the policy, exploiting the differentiability of the model. Intuitively, learning more accurate models should lead to better model-based RL performance. Recently, there has been growing interest in developing better deep neural network based dynamics models for physical systems, by utilizing the structure of the underlying physics. We focus on robotic systems undergoing rigid body motion without contacts. We compare two versions of our model-based RL algorithm, one which uses a standard deep neural network based dynamics model and the other which uses a much more accurate, physics-informed neural network based dynamics model. We show that, in model-based RL, model accuracy mainly matters in environments that are sensitive to initial conditions, where numerical errors accumulate fast. In these environments, the physics-informed version of our algorithm achieves significantly better average-return and sample efficiency. In environments that are not sensitive to initial conditions, both versions of our algorithm achieve similar average-return, while the physics-informed version achieves better sample efficiency. We also show that, in challenging environments, physics-informed model-based RL achieves better average-return than state-of-the-art model-free RL algorithms such as Soft Actor-Critic, as it computes the policy-gradient analytically, while the latter estimates it through sampling.

研究の動機と目的

• ロボット制御タスクにおける従来の強化学習（RL）の低いサンプル効率を解決すること。
• 学習されたダイナミクスモデルに物理的制約を組み込むことで、モデルベース強化学習のサンプル効率を向上させること。
• 初期条件に敏感な環境において、物理則を組み込んだダイナミクスモデルがより良いポリシー学習をもたらすかどうかを調査すること。
• モデルベース強化学習における解析的ポリシー勾配計算が、ソフトアクタクリティカルのようなサンプリングベースの手法を上回ることを示すこと。
• 強制的で非自励な力学系に適応したリャプノフ指数推定の変分方程式を拡張し、初期条件への感度を定量化すること。

提案手法

• エネルギー保存則などの物理法則を強制する微分可能で物理則を組み込んだニューラルネットワーク（PINN）ダイナミクスモデルを学習する。
• 学習されたダイナミクスモデルを用いて、時間軸に沿ったバックプロパゲーションにより、仮想軌道を生成し、ポリシー最適化に用いる。
• ハイブリッドトレーニング方式を採用：実際のロールアウトの収集と、仮想軌道を用いたモデルおよびポリシーの更新を交互に実行する。
• 強制的系に適応した拡張された変分方程式を用いて、有限時間の最大リャプノフ指数を計算し、強制系における初期条件への感度を定量化する。
• 仮想ロールアウトを通じて勾配をバックプロパゲートするモデルベースRLアルゴリズムを用い、ポリシー勾配の解析的計算を可能にする。
• 2つのバリアントを比較：1つは標準的な深層ニューラルネットワーク（DNN）ダイナミクスモデルを用い、もう1つは物理則を組み込んだニューラルネットワーク（LNN）ダイナミクスモデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 物理則を組み込んだダイナミクスモデルを用いることで、ロボットシステムのモデルベース強化学習におけるサンプル効率と最終的なパフォーマンスが向上するか？
• RQ2 初期条件に敏感な環境（特にそのような環境）において、ダイナミクスモデルの精度がMBRLパフォーマンスに最も顕著に影響を与えるのはどのような状況か？
• RQ3 挑戦的な制御タスクにおいて、物理則を組み込んだモデルベース強化学習は、ソフトアクタクリティカルのような最先端のモデルフリー手法を上回るパフォーマンスを示すか？
• RQ4 強制系に適応した拡張された変分方程式を用いて計算された有限時間最大リャプノフ指数は、標準的モデルと物理則を組み込んだモデルの間のMBRLパフォーマンス差を信頼性を持って予測できるか？
• RQ5 モデルベース強化学習における解析的ポリシー勾配計算は、モデルフリー手法におけるサンプリングベース推定をどの程度上回るか？

主な発見

• 初期条件に敏感な環境（例：Cart-2-pole、Acrobot、Cart-3-pole）において、物理則を組み込んだMBRLバージョンは、標準的なDNNベースのMBRLよりも顕著に高い平均報酬を達成する。
• 物理則を組み込んだMBRLは、すべての環境で優れたサンプル効率を示し、特に数値誤差が急速に蓄積されるカオス的システムで最大の向上が見られた。
• 初期条件に敏感でない環境（例：Reacher、Pendulum）では、両方のMBRLバージョンが類似した平均報酬を達成するが、物理則を組み込んだバージョンでも依然としてより高いサンプル効率を示す。
• 物理則を組み込んだモデルベース強化学習は、ソフトアクタクリティカルと比較して、報酬の平均値が優れており、これはサンプリングベース推定ではなく解析的ポリシー勾配計算によるものである。
• 強制系に適応した拡張された変分方程式を用いて計算された有限時間最大リャプノフ指数は、モデル精度がパフォーマンスに顕著に影響を与える環境を的確に同定した。
• LNNベースのダイナミクスモデルは、特に長時間スパンのシナリオにおいて、DNNモデルと比較して低いダイナミクス誤差と遅い軌道誤差の蓄積を示し、より安定的かつ正確な仮想ロールアウトを実現した。