[論文レビュー] Multi-Task Reinforcement Learning as a Hidden-Parameter Block MDP

Amy Zhang, Shagun Sodhani+2 more|arXiv (Cornell University)|Jul 14, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 4

ひとこと要約

この論文は、少数のサンプルで学習する状況におけるサンプル効率と一般化性能を向上させるために、マルチタスク強化学習を隠れパラメータブロックMDP（HiP-BMDP）としてモデル化する新しいフレームワークであるHiP-BMDPを提案する。タスク間で共有される構造を普遍的ダイナミクスモデルと表現によって活用することで、タスク数ではなく合計サンプル数に依存する tighter なサンプル複雑性バインディングを達成し、実験的に先行手法を上回る性能を示す。

ABSTRACT

Multi-task reinforcement learning is a rich paradigm where information from previously seen environments can be leveraged for better performance and improved sample-efficiency in new environments. In this work, we leverage ideas of common structure underlying a family of Markov decision processes (MDPs) to improve performance in the few-shot regime. We use assumptions of structure from Hidden-Parameter MDPs and Block MDPs to propose a new framework, HiP-BMDP, and approach for learning a common representation and universal dynamics model. To this end, we provide transfer and generalization bounds based on task and state similarity, along with sample complexity bounds that depend on the aggregate number of samples across tasks, rather than the number of tasks, a significant improvement over prior work. To demonstrate the efficacy of the proposed method, we empirically compare and show improvements against other multi-task and meta-reinforcement learning baselines.

研究の動機と目的

• タスク間の共通する構造的パターンを活用することで、マルチタスク強化学習におけるサンプル効率と一般化性能を向上させること。
• 各タスクで利用可能なデータが限られている少数のサンプルでの学習という課題に対処すること。
• 多様だが構造的に類似したMDPに一般化可能な統一された表現とダイナミクスモデルを開発すること。
• タスクと状態の類似度に依存する、転移と一般化に関する理論的バインディングを導出すること。
• サンプル複雑性を、タスク数ではなくタスク間の合計サンプル数に依存するように低減すること。

提案手法

• 関連するMDP間の共有構造を捉えるために、マルチタスクRLを隠れパラメータブロックMDP（HiP-BMDP）として形式化する。
• 状態と行動のブロック間で共有されるパラメータをモデル化することで、タスク全体に一般化する普遍的ダイナミクスモデルを学習する。
• 共通の表現空間を用いて、タスク間の状態-行動ペアを埋め込むことで、知識の転移を可能にする。
• タスクと状態の類似度メトリクスに基づいて、転移と一般化に関する理論的バインディングを導出する。
• サンプル複雑性バインディングを、タスク数ではなくタスク全体のサンプル総数に依存するように確立する。
• メタ最適化戦略を用いて、タスク全体で共有される表現とダイナミクスモデルを同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 家族としてのMDP群に共通する構造的パターンをどのように活用することで、マルチタスクRLにおけるサンプル効率を向上させられるか？
• RQ2 この構造的マルチタスク設定において、転移と一般化に関する理論的保証はどのように得られるか？
• RQ3 提案手法のサンプル複雑性は、タスク数と合計サンプル数に対してどのようにスケーリングされるか？
• RQ4 複数のタスクにわたって学習された普遍的ダイナミクスモデルは、未観測の新しいタスクに対しても、少数のサンプルで効果的に一般化できるか？
• RQ5 提案されたHiP-BMDPフレームワークは、既存のマルチタスクRLおよびメタRLベースラインと比較して、どのように異なるか？

主な発見

• 提案されたHiP-BMDPフレームワークは、既存のマルチタスクRLおよびメタRLベースラインと比較して、少数のサンプルでの学習状況において、サンプル効率と一般化性能が向上している。
• 理論的バインディングにより、転移と一般化性能がタスク数ではなく、タスクと状態の類似度に依存することが示された。
• サンプル複雑性は、タスク数ではなく、タスク間の合計サンプル数に依存してスケーリングされ、先行研究と比較して顕著な改善が得られた。
• 実験結果により、複数のベンチマーク環境で一貫した性能向上が確認され、共有表現と普遍的ダイナミクスモデルの有効性が裏付けられた。
• 未観測のタスクに対しても良好な一般化が達成されており、構造的MDP仮定から強いインダクティブバイアスが得られていることが示された。