[論文レビュー] Explore, Discover and Learn: Unsupervised Discovery of State-Covering Skills

Víctor Campos, Alexander T. Trott+4 more|arXiv (Cornell University)|Feb 10, 2020

Auction Theory and Applications被引用数 22

ひとこと要約

この論文では、ポリシーに起因する分布の偏りからスキル発見を分離することで、状態空間のカバレッジを向上させる、未知のスキル発見手法であるExplore, Discover and Learn (EDL) を提案する。EDLは先行研究と同一の情報理論的目的関数を最適化するが、固定された状態事前分布と変分推論を用いることで、早期収束を回避し、連続制御環境において顕著に優れたカバレッジと頑健性を達成する。ハイパーパrameterへの感受性も最小限に抑えられる。

ABSTRACT

Acquiring abilities in the absence of a task-oriented reward function is at the frontier of reinforcement learning research. This problem has been studied through the lens of empowerment, which draws a connection between option discovery and information theory. Information-theoretic skill discovery methods have garnered much interest from the community, but little research has been conducted in understanding their limitations. Through theoretical analysis and empirical evidence, we show that existing algorithms suffer from a common limitation -- they discover options that provide a poor coverage of the state space. In light of this, we propose 'Explore, Discover and Learn' (EDL), an alternative approach to information-theoretic skill discovery. Crucially, EDL optimizes the same information-theoretic objective derived from the empowerment literature, but addresses the optimization problem using different machinery. We perform an extensive evaluation of skill discovery methods on controlled environments and show that EDL offers significant advantages, such as overcoming the coverage problem, reducing the dependence of learned skills on the initial state, and allowing the user to define a prior over which behaviors should be learned. Code is publicly available at https://github.com/victorcampos7/edl.

研究の動機と目的

• 既存の情報理論的スキル発見手法における根本的課題である、ポリシーに起因する分布の偏りに起因する状態空間カバレッジの悪さを是正すること。
• タスク固有の報酬や初期ポリシーの偏りに依存せずに、多様で状態空間をカバーするスキルを発見する手法を開発すること。
• 有用な行動に関するユーザー定義の事前分布を可能とし、初期状態分布への依存を軽減すること。
• 先行研究と同一のエンパワーメントに基づく情報理論的目的関数を維持しつつ、訓練のダイナミクスを改善すること。
• 改善されたカバレッジが、後続のタスク学習やメタコントロールにおいてより効果的であることを実証すること。

提案手法

• EDLは、ランダムポリシーを用いた環境探索、固定された状態事前分布と変分推論を用いたスキル発見、および潜在変数と状態の間の相互情報量を最大化するオプション学習という3段階の枠組みを採用する。
• 本手法は、潜在変数 z と状態 s の間の相互情報量の下界を変分的に最適化する。ここで、p(s|z) は正規分布でモデル化され、p(z) はユーザーが定義する事前分布である。
• p(z) を固定し、別個の探索フェーズを設けることで、ポリシーが既に発見された状態を強化するという病理的訓練ダイナミクスを回避する。
• スキル発見段階では、VAEに類似したアーキテクチャを用いて、各 z が状態空間の異なる領域をカバーするスキルに対応する潜在空間を学習する。
• EDLの訓練目的関数はエンパワーメントと同等であるが、状態の固定事前分布を用いることで、ポリシーが誘導する状態分布への依存を回避する。
• 本フレームワークは、状態マージナルマッチング、ベクトル量子化、ヒューリスティックリラベルィングなどの現代的技術と統合可能であり、スケーラビリティの向上に寄与する。

実験結果

リサーチクエスチョン

• RQ1 既存の情報理論的スキル発見手法は、ポリシーに起因する分布の偏りにより、状態空間のカバレッジが不十分であると問題視されているか？
• RQ2 状態に対する固定事前分布を用いることで、カバレッジが向上し、初期ポリシー行動への依存が軽減されるか？
• RQ3 スキル発見をポリシーのダイナミクスから分離することで、より多様で頑健なスキルセットが得られるか？
• RQ4 EDLは、同じ情報理論的目的関数を維持しつつ、最適化の安定性とカバレッジを向上させられるか？
• RQ5 ユーザー定義の行動事前分布が、スキルの多様性および後続タスクのパフォーマンスにどのように影響するか？

主な発見

• EDLは、既存手法と比較して顕著に優れた状態空間カバレッジを達成しており、ボトルネック状態を有する迷路環境において、先行手法が初期に到達可能な状態を超えて探索できないのに対し、EDLはその制限を克服している。
• 初期状態分布への感受性が低く、異なる出発位置からでも一貫したスキル発見を示している。
• EDLは、ユーザーが望ましい行動に関する事前分布を定義可能であり、特定のタイプのスキルを標的的に発見可能である。
• 制御された環境下では、意味的かつ分離可能なスキルの潜在空間を発見でき、複雑な行動を組み合わせて生成可能である。
• 実証的結果から、EDLの訓練ダイナミクスは、先行手法が既に発見された状態を強化するという病理的傾向を回避していることが示された。
• 同じ情報理論的目的関数を用いても、EDLはカバレッジと頑健性の両面で先行手法を上回っている。