[論文レビュー] Behavior From the Void: Unsupervised Active Pre-Training

Hao Liu, Pieter Abbeel|arXiv (Cornell University)|Mar 8, 2021

Reinforcement Learning in Robotics参考文献 78被引用数 12

ひとこと要約

本論文は、外在的報酬なしで、対照的表現空間における粒子ベースのエントロピー最大化を用いて能動的に探索し、多様な行動を学習する、教師なし強化学習の事前学習手法APT（Unsupervised Active Pre-Training）を提案する。この手法は12種類のAtariゲームで人間水準の性能を達成し、DMControlにおいてもデータ効率と漸近的性能で教師ありベースラインを上回る。特に、完全に訓練不能なタスクに対しても優れた性能を示す。

ABSTRACT

We introduce a new unsupervised pre-training method for reinforcement learning called APT, which stands for Active Pre-Training. APT learns behaviors and representations by actively searching for novel states in reward-free environments. The key novel idea is to explore the environment by maximizing a non-parametric entropy computed in an abstract representation space, which avoids challenging density modeling and consequently allows our approach to scale much better in environments that have high-dimensional observations (e.g., image observations). We empirically evaluate APT by exposing task-specific reward after a long unsupervised pre-training phase. In Atari games, APT achieves human-level performance on 12 games and obtains highly competitive performance compared to canonical fully supervised RL algorithms. On DMControl suite, APT beats all baselines in terms of asymptotic performance and data efficiency and dramatically improves performance on tasks that are extremely difficult to train from scratch.

研究の動機と目的

• 外在的報酬にアクセスできない状況下で、タスクに依存しない事前学習を可能にすることで、強化学習エージェントのデータ非効率性の課題に取り組む。
• 視覚的強化学習における既存の教師なし事前学習手法の限界、たとえばピクセルレベルの密度モデリングによる探索の悪さや、事前学習データにおける分布の不一致を克服する。
• 高次元の観測空間において、新しい状態を能動的に発見することができるスケーラブルな表現ベースの探索戦略を開発する。
• 多様なタスクに一般化可能な事前学習表現を通じて、下流の強化学習性能を向上させること。
• 非パラメトリックエントロピーに基づく内在的報酬が、スパarsな報酬やImageNet事前学習よりも効果的な事前学習を可能にすることを示すこと。

提案手法

• APTは、高次元状態空間における密度モデリングの非可解性を避けるために、非パラメトリックな粒子ベースのエントロピー推定器を用いて、対照的表現空間における内在的報酬を計算する。
• 本手法は、超球面上での一様性を促進し、距離がエントロピー推定に意味を持つようにする対照的学習により、表現空間を学習する。
• 探索は表現空間におけるエントロピー最大化によって駆動され、エージェントが環境全体にわたり新しい状態を訪問するよう促される。
• 事前学習フェーズでは環境の報酬にアクセスしないが、その後、スパarsまたは密な外在的報酬を用いて下流タスクのファインチューニングが行われる。
• 本手法は既存の強化学習アルゴリズムと互換性があり、本研究では最先端の視覚的強化学習アルゴリズムであるDrQに適用されている。
• APTの変種では、正例のみの内在的信号（例：「死なないでください」）を用いるが、エントロピーに基づく内在的報酬に比べて有効な探索ができないことが示されている。

実験結果

リサーチクエスチョン

• RQ1 学習された表現空間におけるエントロピー最大化は、ピクセルレベルの密度モデリングやImageNet事前学習に比べ、より効果的な教師なし事前学習を可能にするか？
• RQ2 表現空間におけるエントロピーに従う能動的探索は、下流の強化学習タスクにおけるデータ効率と漸近的性能を向上させるか？
• RQ3 APTは、訓練が非常に困難なタスクにおいて、教師あり強化学習ベースラインと比較して、サンプル効率と性能で優れているか？
• RQ4 粒子ベースのエントロピーに基づく内在的報酬は、有効な探索に不可欠なものか、それとも単純な信号で十分か？
• RQ5 APTから得られる事前学習モデルは、スパarsまたは複雑な報酬を持つタスクを含め、多様なタスクに一般化可能か？

主な発見

• APTは57種類のAtariゲームのうち12種類で人間水準の性能を達成し、先行する教師なし強化学習手法やDQNを大きく上回った。
• Atari 57の全スイートにおいて、APTは最良の先行教師なし手法と比較して中央値のヒューマン正規化スコアが3倍高い。
• DMControlスイートにおいて、APTはDrQおよび教師なし強化学習ベースラインの両方を漸近的性能とデータ効率の面で上回り、完全に訓練不能なタスクを解消できた。
• 「死なないでください」という信号のみを用いた変種に比べ、APTは約27倍多くの固有のRAM状態を訪問しており、有効な探索にはエントロピーに基づく内在的報酬が必要であることを示している。
• 事前学習済みのアクタクリティカルヘッドからのファインチューニングは、ランダム初期化よりも学習が速く、5つのゲームのうち4つで3つのシード平均で優れた性能を示した。
• 本手法は、全訓練サンプルのわずか一部を用いるだけで、完全に教師あり強化学習アルゴリズムと同等の性能を達成しており、そのデータ効率の高さが顕著である。