[論文レビュー] Offline Reinforcement Learning with Causal Structured World Models

Zhengmao Zhu, Xionghui Chen+3 more|arXiv (Cornell University)|Jun 3, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本論文は、因果構造的ワールドモデルを統合することで一般化性能を向上させる、モデルベースのオフライン強化学習アルゴリズムFOCUSを提案する。時間的制約を課した変更版PCアルゴリズムとカーネルベースの独立性検定を用いた因果発見により、オフラインRLベンチマークにおいてベースライン手法を上回る性能を達成し、正確な因果構造学習による高いロバストネスとサンプル効率を示した。

ABSTRACT

Model-based methods have recently shown promising for offline reinforcement learning (RL), aiming to learn good policies from historical data without interacting with the environment. Previous model-based offline RL methods learn fully connected nets as world-models that map the states and actions to the next-step states. However, it is sensible that a world-model should adhere to the underlying causal effect such that it will support learning an effective policy generalizing well in unseen states. In this paper, We first provide theoretical results that causal world-models can outperform plain world-models for offline RL by incorporating the causal structure into the generalization error bound. We then propose a practical algorithm, oFfline mOdel-based reinforcement learning with CaUsal Structure (FOCUS), to illustrate the feasibility of learning and leveraging causal structure in offline RL. Experimental results on two benchmarks show that FOCUS reconstructs the underlying causal structure accurately and robustly. Consequently, it performs better than the plain model-based offline RL algorithms and other causal model-based RL algorithms.

研究の動機と目的

• オフライン強化学習における因果的ワールドモデルと単純なワールドモデルの優位性を理論的に裏付けること。
• オフラインデータから因果構造を学習・活用する、実用的なアルゴリズムFOCUSを開発すること。
• 連続変数と時間的依存性を含む強化学習データに因果発見手法を適用する課題に対処すること。
• 因果的ワールドモデルが、オフラインデータセットにおける誤った相関を低減することで一般化誤差を低減することを示すこと。
• 実験的に、オフラインRLベンチマーク上での手法の有効性を検証し、性能とロバストネスの向上を示すこと。

提案手法

• 未来が過去に原因を与えることはないという時間的制約をPCアルゴリズムに組み込み、条件付き独立性テストの数を削減し、因果の方向特定を可能にする。
• パラメトリックな関数形を仮定しないカーネルベースの条件付き独立性（KCI）検定を用いて、連続変数間の関係を検出する。
• 因果発見における条件付き集合の選択に体系的な手法を導入し、構造学習の精度とロバストネスを向上させる。
• 学習された構造から因果的ワールドモデルを構築し、オフラインMBRLにおけるポリシー学習を支援する。
• 因果的ワールドモデルを用いて状態遷移を予測し、誤った相関による誤差を最小限に抑えるポリシー評価を行う。
• オフラインRLタスクにモデルを適用し、因果的ワールドモデルを用いてポリシーを学習させつつ、未観測状態への一般化を保証する。

実験結果

リサーチクエスチョン

• RQ1 因果的構造をワールドモデルに組み込むことで、オフライン強化学習における一般化誤差の境界を低減できるか？
• RQ2 時間的依存性や連続変数を含むオフラインRLデータの制約に合わせて、因果発見をどのように適合できるか？
• RQ3 因果的ワールドモデルは、非因果的モデルと比較して、オフラインRLにおけるポリシー性能と一般化能力を向上させるか？
• RQ4 FOCUSは、ベースラインと比較して、データの多様性への依存度をどの程度低減するか？
• RQ5 因果構造学習の精度とロバストネスが、下流のポリシー性能にどのように影響するか？

主な発見

• Car DrivingおよびMuJoCo（Inverted Pendulum）ベンチマークにおいて、FOCUSはベースラインよりも顕著に高いポリシー報酬を達成し、一部の設定で最大40%の向上を示した。
• Randomデータセットでは、因果構造学習の正確さのおかげで、FOCUSはMOPOおよびLNCMに対してそれぞれ58.2点、58.2点の報酬向上を達成した。
• データの多様性が高く、誤った相関が弱いMedium-Replayデータセットでは、FOCUSの性能向上が最小限にとどまり、因果モデルがデータ多様性に依存しないという理論を裏付けた。
• 混合データセットにおけるMedium-Replayデータの割合が低くても、FOCUSは強力な性能を維持しており、優れた一般化能力とデータ多様性への依存度低減を示した。
• アブレーションスタディの結果、KCI検定と条件付き変数選択メカニズムの両方が、因果構造学習の精度とロバストネスを顕著に向上させた。
• LNCMは低い分散を示したが、予測確率がほぼ50%であるため意味のないロバストネスを示しており、FOCUSの優れた構造学習品質を浮き彫りにした。