[論文レビュー] Model-Based Offline Meta-Reinforcement Learning with Regularization

Sen Lin, Jialin Wan+3 more|arXiv (Cornell University)|Feb 7, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、メタポリシーによる探索とオフラインデータセットの活用をバランスさせるために正則化ポリシー最適化を用いた、モデルベースのオフラインメタ強化学習フレームワークであるMerPOを提案する。メタポリシー正則化子と行動ポリシー正則化子の間を補間するメタ正則化付きアクタ・クリティック手法を導入することで、両ポリシーに対する保証付きの性能向上を実現し、オフラインメタ強化学習設定においてより安全で一般化性の高いポリシー学習を達成する。

ABSTRACT

Existing offline reinforcement learning (RL) methods face a few major challenges, particularly the distributional shift between the learned policy and the behavior policy. Offline Meta-RL is emerging as a promising approach to address these challenges, aiming to learn an informative meta-policy from a collection of tasks. Nevertheless, as shown in our empirical studies, offline Meta-RL could be outperformed by offline single-task RL methods on tasks with good quality of datasets, indicating that a right balance has to be delicately calibrated between "exploring" the out-of-distribution state-actions by following the meta-policy and "exploiting" the offline dataset by staying close to the behavior policy. Motivated by such empirical analysis, we explore model-based offline Meta-RL with regularized Policy Optimization (MerPO), which learns a meta-model for efficient task structure inference and an informative meta-policy for safe exploration of out-of-distribution state-actions. In particular, we devise a new meta-Regularized model-based Actor-Critic (RAC) method for within-task policy optimization, as a key building block of MerPO, using conservative policy evaluation and regularized policy improvement; and the intrinsic tradeoff therein is achieved via striking the right balance between two regularizers, one based on the behavior policy and the other on the meta-policy. We theoretically show that the learnt policy offers guaranteed improvement over both the behavior policy and the meta-policy, thus ensuring the performance improvement on new tasks via offline Meta-RL. Experiments corroborate the superior performance of MerPO over existing offline Meta-RL methods.

研究の動機と目的

• 品質が異なるデータセットにわたる一般化が不十分である既存のオフラインメタ強化学習手法の課題に取り組むこと、特に行動ポリシーが高品質である状況において顕著である。
• オフラインメタ強化学習における探索と活用のアンバランスなトレードオフを特定・解決すること。メタポリシーに過剰に依存すると分布シフトが生じるが、行動ポリシーに過剰に忠実であると一般化が制限される。
• 行動ポリシーおよびメタポリシーの両方に対する性能向上を保証する手法を開発し、オフライン環境における安全で信頼性の高いポリシー更新を実現すること。
• 学習されたメタモデルと合成ロールアウトを用いて、効率的なタスク構造の推定と分布外状態・行動の安全な探索を可能とすること。

提案手法

• タスク内ポリシー最適化のためのメタ正則化付きモデルベースアクタ・クリティック（RAC）手法を提案。保守的ポリシー評価と正則化付きポリシー改善を用いる。
• 行動ポリシーに基づく正則化子とメタポリシーに基づく正則化子の間で、新たな補間手法を導入することで、探索と活用のバランスを図る。
• オフラインデータセットからメタモデルを学習し、タスク固有のモデル学習を高速かつ正確に実現するとともに、複数のタスク間での効率的な構造推定を可能にする。
• 学習されたダイナミクスモデルを用いて合成ロールアウトを生成し、分布外状態・行動の安全な探索を実現する。
• エントロピー正則化と分布制約を組み合わせた正則化付きポリシー改善モジュールを採用し、楽観的過剰最適化と分布シフトを防止する。
• 理論的分析により、やや厳しい条件下でも、得られたポリシーが行動ポリシーおよびメタポリシーの両方に対して高い確率で性能向上を保証することが示された。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、メタポリシーによる探索と与えられたオフラインデータセットの活用を安全にバランスさせたオフラインメタ強化学習アルゴリズムを設計できるか？
• RQ2 なぜ既存のオフラインメタ強化学習手法は、高品質なデータセットにおいて、単一タスク強化学習よりも性能が劣るのか？この問題はどのように緩和できるか？
• RQ3 保守的ダイナミクスモデリングと正則化付きポリシー最適化を組み合わせたモデルベースアプローチは、行動ポリシーおよびメタポリシーの両方に対して保証付きの性能向上を達成できるか？
• RQ4 メタモデルから生成された合成データは、オフラインメタ強化学習における一般化性をどのように向上させるか？
• RQ5 性能保証の観点から、行動ポリシー忠実度とメタポリシー誘導の最適なトレードオフは何か？正則化子重みの最適化はどのように行えるか？

主な発見

• 理論的に、やや厳しい条件下でも、MerPOは行動ポリシーおよびメタポリシーの両方に対して高い確率で性能向上を保証する。
• 多様なオフラインデータセットにわたる一般化性能において、最先端のオフラインメタ強化学習ベースライン（FOCALやCOMBOを含む）を上回る。
• 高品質なデータセットを有するタスクでは、強力な単一タスクオフラインRL手法であるCOMBOをも上回り、優れた一般化能力を示した。
• 性能向上の要因は、二重正則化子補間によるメタポリシー探索と行動ポリシー活用の有効なバランスにある。
• 実験結果から、行動ポリシーが強力であってもMerPOは安全なポリシー向上を維持しており、分布シフトによる性能低下を回避していることが確認された。
• 理論的分析により、正則化子重みの選定のための設計指針が得られ、メタポリシー正則化子重みを適切に調整すれば、性能向上が保証されることが示された。