[論文レビュー] Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels

Sai Rajeswar, Pietro Mazzaglia+5 more|arXiv (Cornell University)|Sep 24, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文は、モデルベースの事前学習とタスクに適した微調整、およびハイブリッドプランナ―であるDyna-MPCを組み合わせた、画素ベースの教師なし強化学習ベンチマーク（URLB）で93.59％の正規化性能を達成する画期的な教師なし強化学習手法を提案する。自己教師付き世界モデルと想像内での効率的な計画を活用することで、先行手法を著しく上回る最先端の性能を実現している。

ABSTRACT

Controlling artificial agents from visual sensory data is an arduous task. Reinforcement learning (RL) algorithms can succeed but require large amounts of interactions between the agent and the environment. To alleviate the issue, unsupervised RL proposes to employ self-supervised interaction and learning, for adapting faster to future tasks. Yet, as shown in the Unsupervised RL Benchmark (URLB; Laskin et al. 2021), whether current unsupervised strategies can improve generalization capabilities is still unclear, especially in visual control settings. In this work, we study the URLB and propose a new method to solve it, using unsupervised model-based RL, for pre-training the agent, and a task-aware fine-tuning strategy combined with a new proposed hybrid planner, Dyna-MPC, to adapt the agent for downstream tasks. On URLB, our method obtains 93.59% overall normalized performance, surpassing previous baselines by a staggering margin. The approach is empirically evaluated through a large-scale empirical study, which we use to validate our design choices and analyze our models. We also show robust performance on the Real-Word RL benchmark, hinting at resiliency to environment perturbations during adaptation. Project website: https://masteringurlb.github.io/

研究の動機と目的

• 画素からの教師なし強化学習（URL）における一般化性能の向上を図ることで、視覚的制御タスクにおけるデータ効率の課題に取り組む。
• モデルベースの教師なし事前学習が、複雑な画素ベースの環境において、下流タスクへの適応を効果的に支援できるかどうかを調査する。
• URLBベンチマークにおける微調整の効率性とパフォーマンスを向上させるタスクに適した適応戦略を開発する。
• モデルフリーとモデルベースの計画を統合したハイブリッドプランナ―であるDyna-MPCを設計・評価する。

提案手法

• 教師なし事前学習中に自己教師付きインタラクションを用いて訓練された世界モデルを活用し、画素から環境のダイナミクスを学習する。
• 事前学習済みの世界モデルとエージェントを微調整し、同時にクライアントをゼロから訓練する、タスクに適した微調整戦略を適用する。
• モデルフリーのCEMと学習済みエージェントを組み合わせたハイブリッドプランナ―であるDyna-MPCを導入し、想像内での計画の効率性とパフォーマンスを向上させる。
• 2,000回を超える大規模な実験を実施し、設計選択の妥当性を検証し、手法の各構成要素をアブレーション解析する。
• 事前学習中の探索を誘導するために、内因的カリキュリティと潜在的ダイナミクスモデリング（LDS）を併用する。
• 効率的な世界モデル学習のため、DreamerV2スタイルのアーキテクチャを採用し、離散的潜在空間と再帰的ダイナミクスを活用する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースの教師なし事前学習は、画素ベースの視覚的制御タスクにおいて、一般化性能とデータ効率を著しく向上させることができるか？
• RQ2 エージェントと世界モデルの選択的微調整を含むタスクに適した微調整戦略は、URLBにおける下流タスクのパフォーマンスにどのように影響を与えるか？
• RQ3 Dyna-MPCのようなハイブリッドプランナ―は、純粋にモデルフリーまたはモデルベースのプランナ―と比較して、どの程度パフォーマンスを向上させるか？
• RQ4 提案手法は、実世界の摂動に対しても一般化可能であり、ベンチマークを越えた耐性を示すか？
• RQ5 視覚的強化学習における教師なし事前学習と微調整のパフォーマンスを最大化するための主要な設計選択は何か？

主な発見

• 提案手法は、画素からのURLBで93.59％の正規化性能を達成し、前回の最先端手法を大きく上回った。
• 教師なしモデルベースの事前学習とタスクに適した微調整の組み合わせにより、P2E（Plan2Explore）単体に比べてパフォーマンスが15.5％向上した。
• ハイブリッドプランナ―Dyna-MPCは、タスクに適した微調整のみを適用したP2Eに比べ、5.77％のパフォーマンス向上をもたらした。
• 環境の摂動に対して強い耐性を示し、実世界強化学習ベンチマークでも優れた一般化性能を示した。
• 報酬がスパarsityなタスク、特にJaco環境では、事前学習済みエージェントの微調整が、特に顕著なパフォーマンス向上をもたらした。
• アブレーションスタディの結果、すべての構成要素—事前学習、タスクに適した微調整、Dyna-MPC—がピークパフォーマンスを達成するために不可欠であることが確認された。