[論文レビュー] Exploration via Elliptical Episodic Bonuses

Mikael Henaff, Roberta Răileanu+2 more|arXiv (Cornell University)|Oct 11, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本論文は、学習された埋め込み空間における楕円型ボーナスを用いて、連続的かつ高次元の状態空間における強化学習のための新規手法E3B（Exploration via Elliptical Episodic Bonuses）を提案する。この手法は、カウントベースのエピソードボーナスを一般化し、自己教師付き逆動力学モデルを組み合わせることで、制御可能でない環境要因を捉える。E3Bは、16のMiniHackタスクで最先端の性能を達成し、VizDoomではトップクラスの手法と同等の性能を示し、Habitatにおける報酬なし探索でも既存のアプローチを上回る。タスク固有の誘導的バイアスを一切用いず、性能を発揮する。

ABSTRACT

In recent years, a number of reinforcement learning (RL) methods have been proposed to explore complex environments which differ across episodes. In this work, we show that the effectiveness of these methods critically relies on a count-based episodic term in their exploration bonus. As a result, despite their success in relatively simple, noise-free settings, these methods fall short in more realistic scenarios where the state space is vast and prone to noise. To address this limitation, we introduce Exploration via Elliptical Episodic Bonuses (E3B), a new method which extends count-based episodic bonuses to continuous state spaces and encourages an agent to explore states that are diverse under a learned embedding within each episode. The embedding is learned using an inverse dynamics model in order to capture controllable aspects of the environment. Our method sets a new state-of-the-art across 16 challenging tasks from the MiniHack suite, without requiring task-specific inductive biases. E3B also matches existing methods on sparse reward, pixel-based VizDoom environments, and outperforms existing methods in reward-free exploration on Habitat, demonstrating that it can scale to high-dimensional pixel-based observations and realistic environments.

研究の動機と目的

• エピソード間で環境が異なる文脈的MDP（CMDP）において、既存の探索手法の一般化性能の低さを解決すること。
• ノイズが多いか高次元な設定では失敗するにもかかわらず、現在の成功した探索手法の中心的役割を果たすカウントベースのエピソードボーナスの重要性を特定すること。
• タスク固有の誘導的バイアスを一切用いずに、多様な現実世界の環境にスケーラブルかつ汎用的に適用可能な探索手法を開発すること。
• 高次元のピクセルベースの観測や、動的なまたは無関係な特徴を有する環境における効果的な探索を可能にすること。

提案手法

• E3Bは、学習された埋め込み空間における状態訪問の多様性をモデル化することで、連続的状態空間へのカウントベースボーナスの一般化を実現するエピソードレベルの楕円型ボーナスを導入する。
• 埋め込み空間は、状態遷移からアクションを予測することで、環境の制御可能要因を捉える自己教師付き逆動力学モデルによって学習される。
• 楕円型ボーナスは、埋め込み空間におけるマハラノビス距離として計算され、学習された動力学に従って多様な状態を探索するよう促進する。
• 楕円型ボーナス推定の安定化と耐性向上のため、共分散正則化子（λ）を用いる。
• ノイズや無関係な視覚的詳細に敏感になるのを避けるために、原始観測に依存せず、制御可能性に情報をもたらす特徴に焦点を当てる。
• このアプローチはスケーラブルであり、タスク固有のアーキテクチャの変更や事前知識を必要としない。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のエピソードボーナスに基づく探索手法は、単純な設定では成功しているものの、複雑でノイズが多い、または高次元な環境では失敗するのか？
• RQ2 カウントベースのエピソードボーナスは、どのように連続的状態空間に一般化され、その有効性を保つことができるか？
• RQ3 自己教師付き逆動力学モデルは、多様なタスクにわたる効果的な探索を可能にする、堅牢で汎用的な特徴表現を提供できるか？
• RQ4 楕円型ボーナス機構は、現実世界のピクセルベース環境において、探索効率とサンプル効率をどの程度向上させるか？
• RQ5 E3Bは、タスク固有のアプローチやヒューリスティックベースのボーナス手法と比較して、多様なベンチマークにおける一般化性能とパフォーマンスでどの程度優れているか？

主な発見

• E3Bは、タスク固有の誘導的バイアスを一切用いずに、16の挑戦的なMiniHackタスクで最先端のパフォーマンスを達成し、NovelD、RIDE、AGACなどの先行手法を上回る。
• Habitat環境における密度の高い報酬なし探索において、既存のアプローチを顕著に上回り、現実世界の高次元観測へのスケーラビリティを示している。
• VizDoom環境では、スパarsely報酬のピクセルベースタスクにおいて、既存の最先端手法と同等の性能を達成している。
• アブレーションスタディの結果、カウントベースのエピソードボーナスがパフォーマンスに不可欠であり、各観測が固有のタイムカウンタを持つため、原始観測を用いると性能が著しく低下することが確認された。
• E3Bは共分散正則化子λの選択に対して頑健であり、λの値が0.01から1.0の範囲で変化しても顕著な性能低下がなく、ハイパーパramータの調整が容易であることが示された。
• E3Bは、閉じたドアなどの動的なエンティティや無関係な特徴を有する環境（例：MiniHackにおける閉じたドア）を効果的に処理でき、従来のシンボリックまたは画像ベースのボーナスに依存する手法が、誤った状態の繰り返しにより失敗するのを回避した。