[論文レビュー] URLB: Unsupervised Reinforcement Learning Benchmark

Michael Laskin, Denis Yarats+7 more|arXiv (Cornell University)|Oct 28, 2021

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

URLBは、DeepMind Control Suiteの12の連続制御タスクにわたる教師なし強化学習（URL）のための統合ベンチマークを導入し、事前学習とファインチューニングを標準化する。共通の最適化バックボーンを用いて8つの代表的URLアルゴリズムを評価した結果、現在の手法ではベンチマークを完全に解けるものがないことが判明し、自己教師付きRLにおける探索と一般化の向上の必要性が浮き彫りになった。

ABSTRACT

Deep Reinforcement Learning (RL) has emerged as a powerful paradigm to solve a range of complex yet specific control tasks. Yet training generalist agents that can quickly adapt to new tasks remains an outstanding challenge. Recent advances in unsupervised RL have shown that pre-training RL agents with self-supervised intrinsic rewards can result in efficient adaptation. However, these algorithms have been hard to compare and develop due to the lack of a unified benchmark. To this end, we introduce the Unsupervised Reinforcement Learning Benchmark (URLB). URLB consists of two phases: reward-free pre-training and downstream task adaptation with extrinsic rewards. Building on the DeepMind Control Suite, we provide twelve continuous control tasks from three domains for evaluation and open-source code for eight leading unsupervised RL methods. We find that the implemented baselines make progress but are not able to solve URLB and propose directions for future research.

研究の動機と目的

• 教師なし強化学習（URL）アルゴリズムを評価するための統合ベンチマークの欠如に対処すること。
• 事前学習とファインチューニングの手順を標準化することで、教師なしRL手法の公平かつ透明な比較を可能にすること。
• 教師なし事前学習後に新しいタスクに効率的に適応できる汎用的RLエージェントの開発を促進すること。
• 共通の最適化バックボーンを備えたベンチマーク環境と8つの代表的URLベースラインのオープンソースコードを提供すること。
• 現在のURL手法における主要な制限要因を特定し、今後の研究のための有望な方向性を示唆すること。

提案手法

• 2段階のベンチマークを設計：(i) 内因的報酬を用いた報酬なし事前学習、(ii) 外因的報酬を用いた下流のファインチューニング。
• DeepMind Control Suiteを基盤とし、Walker、Quadruped、Jacoの3つのドメインを含み、難易度の異なる12の連続制御タスクをカバーする。
• 公平な比較を実現するため、8つの代表的URLアルゴリズム（例：RND、ProtoRL、DIAYN、SMM、APS）を、同一の最適化バックボーンで実装する。
• ピクセルベースと状態ベースの観測を用いて、入力モalityにわたる一般化性能を評価する。
• すべてのアルゴリズムとタスクにわたる、事前学習時間（100k〜200万フレーム）とファインチューニングプロトコルを標準化する。
• 再現性と統計的妥当性を確保するため、各実験に対して10個のランダムシードを用いた固定評価プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 現在の教師なしRLアルゴリズムは、標準化されたベンチマークにおいて、強力な一般化性能と効率的な少データ適応を達成できるか？
• RQ2 予測誤差、エントロピー最大化、スキル発見などの異なる内因的報酬メカニズムは、事前学習の質においてどのように比較できるか？
• RQ3 長時間スパンで固定長の環境において、能力ベースの探索手法の性能に制限を及えるのは、スキル空間のサイズが小さいことによるものか？
• RQ4 観測モダリティの選択（ピクセル対状態）が、教師なしRLの事前学習性能に顕著な影響を与えるか？
• RQ5 現在の教師なしRL手法が、複雑で多様な制御タスクを解くことができない主なボトル neck は何か？

主な発見

• 現在の教師なしRLアルゴリズムでは、URLBベンチマークの12のタスクすべてを解くことはできず、事前学習の効率性と探索の向上に大きな余地があることが示された。
• 知識ベース手法（例：RND）とデータベース手法（例：ProtoRL）は、類似したファインチューニング性能を達成しており、両手法とも多様性駆動探索に有効であることが示された。
• 能力ベース手法（例：DIAYN、SMM、APS）は顕著に性能が低く、低レベルの行動（転倒や床に倒れるなど）に過適合する可能性が高く、スキル空間のサイズが小さいことが主な要因と推測された。
• 最も優れた手法でも、100万フレームの事前学習後、WalkerおよびQuadrupedドメインでは平均で300〜500のファインチューニングスコアを達成したが、最も複雑なタスクでは最適性能に到達できなかった。
• Jacoの操作タスクでは、トップパフォーマンスの手法ですら、平均スコアが50未満のリーチタスクで限定的な成功にとどまり、器用な操作タスクへの一般化が不十分であることが示された。
• ベンチマークから、現在の教師なしRL手法は、事前学習中に外因的報酬信号が存在しない長時間スパンで固定長の環境において、特にスキル空間が小さい場合に大きな困難を抱えていることが明らかになった。