[論文レビュー] Continuous-Time Model-Based Reinforcement Learning

Çağatay Yıldız, Markus Heinonen+1 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本稿では、状態ダイナミクスをモデル化するためにベイジアンニューラルODEを用い、最適ポリシーを連続時間で直接学習するための新しいアクタ・クリティック手法を備えた連続時間モデルベース強化学習フレームワークを提案する。この手法は、時間離散化誤差を回避し、確率的ODE推論を通じてエピステミック不確実性を明示的にモデル化することで、ノイズが多く不規則なデータに対しても頑健な性能を発揮し、離散時間MBRL手法を上回る。

ABSTRACT

Model-based reinforcement learning (MBRL) approaches rely on discrete-time state transition models whereas physical systems and the vast majority of control tasks operate in continuous-time. To avoid time-discretization approximation of the underlying process, we propose a continuous-time MBRL framework based on a novel actor-critic method. Our approach also infers the unknown state evolution differentials with Bayesian neural ordinary differential equations (ODE) to account for epistemic uncertainty. We implement and test our method on a new ODE-RL suite that explicitly solves continuous-time control systems. Our experiments illustrate that the model is robust against irregular and noisy data, is sample-efficient, and can solve control problems which pose challenges to discrete-time MBRL methods.

研究の動機と目的

• 離散時間MBRL手法と本質的に連続時間の物理的システムとの間にある根本的な不一致を解消すること。
• 連続時間強化学習において一般的に見られるQ関数の消滅問題を回避する理論的に整合性のある連続時間アクタ・クリティックアルゴリズムを構築すること。
• ベイジアンニューラルODEを用いて連続時間で不確実性を考慮したダイナミクスモデリングを可能にし、ノイズが多く不規則なデータに対してより頑健な性能を実現すること。
• 連続時間モデリングが、離散時間近似に比べてより正確で安定した制御ポリシーをもたらすことを実証すること。

提案手法

• 状態遷移を離散的ステップではなく連続的な微分としてモデル化するため、常微分方程式（ODE）に基づく連続時間RLフレームワークを提案する。
• 未知の状態進化ダイナミクスをエピステミック不確実性とともに推論するためにベイジアンニューラルODE（ENODE）を用い、ノイズが多く希な観測に対しても頑健性を発揮する。
• 連続時間価値関数上で直接動作する新しい連続時間アクタ・クリティックアルゴリズムを導入し、標準的な方策学習を一般化する。
• 学習済みダイナミクスの前方シミュレーションに、適応的ODEソルバー（例：dopri5）を用い、数値的精度を保証する。
• 制御入力を有界に保つためにReLU活性化関数を用いた方策ネットワークと、TANHによる出力スケーリングを実装する。
• 連続時間設定においてReLUによる不安定性を回避するため、滑らかな価値関数推定を可能にするために、TANH活性化関数を用いたクリティックネットワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 連続時間モデルベース強化学習フレームワークは、サンプル効率と不規則なデータへの頑健性において、離散時間MBRLを上回ることができるか？
• RQ2 未知のダイナミクスにおけるエピステミック不確実性は、連続時間制御において効果的にモデリングされ、伝搬させることができるか？
• RQ3 理論的に整合性のある連続時間強化学習のアクタ・クリティックアルゴリズムを設計することは可能か？ これによりQ関数の消滅問題を回避できるか？
• RQ4 異なるODEソルバーは、連続時間ポリシー学習の精度と安定性にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、時間離散化に依存せずに、ノイズが多いか不規則にサンプリングされたデータから最適ポリシーを学習できるか？

主な発見

• 提案された連続時間MBRLフレームワークは、CartPoleおよびAcrobotタスクにおいて、特にノイズが多く不規則な観測条件下で、離散時間MBRLを上回る優れた性能を達成した。
• ベイジアンニューラルODEの使用により、ノイズが多く希なデータに対する頑健性が顕著に向上し、標準的な離散時間モデルに比べて予測誤差が低減した。
• 連続時間アクタ・クリティックアルゴリズムはQ関数の消滅問題を効果的に回避し、連続時間での安定なポリシー学習を実現した。
• dopri5 や RK78 といった適応的ODEソルバーは高い数値的精度を発揮する一方で、離散時間近似（例：Euler）は時間経過とともに顕著な誤差蓄積を示した。
• 本手法は高いサンプル効率を示し、離散時間手法に比べて環境との相互作用回数を減らしても効果的なポリシーを学習できた。
• 実験結果から、連続時間フレームワークは真のODE解に非常に近づくのに対し、離散時間軌道は著しく乖離していることが示された（図1を参照）。