[論文レビュー] Diversity is All You Need: Learning Skills without a Reward Function

Benjamin Eysenbach, Abhishek Gupta+2 more|arXiv (Cornell University)|Feb 16, 2018

Reinforcement Learning in Robotics被引用数 97

ひとこと要約

この論文は DIAYN を提案する。最大エントロピー方策と mutual information 目的を最大化することにより多様なスキルを学習する教師なし手法であり、タスク報酬なしで前処理学習、階層化、模倣によって下流タスクを可能にする。

ABSTRACT

Intelligent creatures can explore their environments and learn useful skills without supervision. In this paper, we propose DIAYN ('Diversity is All You Need'), a method for learning useful skills without a reward function. Our proposed method learns skills by maximizing an information theoretic objective using a maximum entropy policy. On a variety of simulated robotic tasks, we show that this simple objective results in the unsupervised emergence of diverse skills, such as walking and jumping. In a number of reinforcement learning benchmark environments, our method is able to learn a skill that solves the benchmark task despite never receiving the true task reward. We show how pretrained skills can provide a good parameter initialization for downstream tasks, and can be composed hierarchically to solve complex, sparse reward tasks. Our results suggest that unsupervised discovery of skills can serve as an effective pretraining mechanism for overcoming challenges of exploration and data efficiency in reinforcement learning.

研究の動機と目的

• 報酬信号が利用できないまたは乏しい場合に有用なスキルの教師なし学習を促進する。
• 潜在変数条件付き方策として表現される多様で識別可能なスキルを生み出す情報理論的目的を提案する。
• 学習したスキルがタスク報酬なしでベンチマーク課題を解決できることを示し、初期化・階層・模倣を通じて下流タスクを支援できることを示す。
• DIAYN の安定性と経験的頑健性を環境間で示し、探索とデータ効率の実務的利点について論じる。

提案手法

• スキルを表す潜在変数 z を定義し、z に条件付けられた方策 pi_theta(a|s,z) を訓練する。
• 状態 S とスキル Z の相互情報の変分下界を最大化し、状態 given における行動のエントロピーを高くする項を加え、識別性を disc q_phi(z|s) によって保証する。
• 真のタスク報酬を疑似報酬 r_z(s,a)=log q_phi(z|s) - log p(z) に置換し、最大エントロピー強化学習アルゴリズム（SAC）で最適化する。
• prior p(z) を一様分布に固定して少数のスキルへの崩壊を避け、軌跡全体の状態を見渡す状態条件付き識別器を訓練する。
• 敵対的ではなく協力的な設定を用い、メタポリシーと識別器を共同訓練して多様で識別可能なスキルを奨励する。
• 固定のホライゾンで学習済みスキルを選択するメタコントローラを訓練して DIAYN を階層的強化学習へ拡張し、報酬が稀な複雑なタスクを可能にする。）

実験結果

リサーチクエスチョン

• RQ1 教員なしスキル発見は報酬信号なしで多様で有用な方策を生み出せるか。
• RQ2 情報理論的目的は識別性とスキルの多様性の双方をいかに促進できるか。
• RQ3 学習したスキルは事前学習、階層的構成、または模倣を通じて下流タスクへ移行するか。
• RQ4 安定性と学習挙動の多様性の観点で、従来の教師なしスキル発見法と DIAYN はどう比較されるか。
• RQ5 DIAYN は報酬が少ない環境や高次元環境での探索と学習を促進できるか。

主な発見

• DIAYN は走る、歩く、跳ぶ、ひっくり返る、顔面着地などの多様なスキルをタスク報酬なしで学習する。
• 学習したスキルは真のタスク報酬を受けずにベンチマーク課題を解決でき、いくつかのスキルは別個の方法で課題を解決する。
• スキルはポリシー初期化、階層的強化学習、模倣学習を通じて下流タスクをブートストラップし、サンプル効率を向上させる。
• DIAYN の目的は種や環境を問わず堅牢で、敵対的方法でよく見られる不安定さを回避する協力的学習ダイナミクスを提供する。
• スキルに対する一様 prior を固定することで VIC で見られる Matthew 効果を回避し、多様なスキルの持続的探索を可能にする。
• 階層的 DIAYN は困難な sparse reward タスクの解決を可能にし、これらの設定で競合するベースラインを上回る。