[論文レビュー] Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices

Evan Zheran Liu, Aditi Raghunathan+2 more|arXiv (Cornell University)|Aug 6, 2020

Reinforcement Learning in Robotics参考文献 55被引用数 9

ひとこと要約

本稿では、問題IDを用いて探索と活用を分離することで、タスク固有の情報を独立に学習する、メタ強化学習アルゴリズムDreamを提案する。問題IDの表現を介して活用方策を学習し、その情報のみを回復することを目的とした探索方策を学習することで、エンドツーエンド学習における「鶏とたまご」問題を回避し、スパarsely-rewardedな3Dナビゲーションタスクにおいて、従来手法より90%高い報酬を達成しながら、最適な探索を損なわない。

ABSTRACT

The goal of meta-reinforcement learning (meta-RL) is to build agents that can quickly learn new tasks by leveraging prior experience on related tasks. Learning a new task often requires both exploring to gather task-relevant information and exploiting this information to solve the task. In principle, optimal exploration and exploitation can be learned end-to-end by simply maximizing task performance. However, such meta-RL approaches struggle with local optima due to a chicken-and-egg problem: learning to explore requires good exploitation to gauge the exploration's utility, but learning to exploit requires information gathered via exploration. Optimizing separate objectives for exploration and exploitation can avoid this problem, but prior meta-RL exploration objectives yield suboptimal policies that gather information irrelevant to the task. We alleviate both concerns by constructing an exploitation objective that automatically identifies task-relevant information and an exploration objective to recover only this information. This avoids local optima in end-to-end training, without sacrificing optimal exploration. Empirically, DREAM substantially outperforms existing approaches on complex meta-RL problems, such as sparse-reward 3D visual navigation. Videos of DREAM: https://ezliu.github.io/dream/

研究の動機と目的

• エンドツーエンドのメタ強化学習における「鶏とたまご」問題に対処すること。これは、探索と活用が互いに信号を必要とするためである。
• 従来の分離手法で見られる、タスクに無関係な情報を収集する不適切な探索方策を回避すること。
• 分離された明確な目的関数を通じて、探索と活用の両方を一貫的かつ最適に学習すること。
• タスク固有の情報を探索プロセスから分離することで、メタ強化学習におけるサンプル効率を向上させること。
• 分離が最適な探索行動を損なわず、優れたパフォーマンスを達成できることを示すこと。

提案手法

• 活用方策のためのタスク固有の情報源として、問題ID（one-hotベクトル）を用いる。
• 問題IDの学習済み表現に条件付けられた活用方策を学習し、不要な情報を排除するために情報ボトルネックを正則化する。
• 問題IDにエンコードされたタスク固有の情報を回帰することを目的とした探索目的関数を設計する。
• 状態行動ペアの経験的頻度を用いて、探索軌道を問題IDにマッピングするデコーダ $\hat{q}(\mu \mid \tau^{\text{exp}}_{\mathbf{a}})$ を推定する。
• 推定されたデコーダに向かって回帰することで、探索Q値 $\hat{Q}^{\text{exp}}$ を学習し、関連する情報のみが回復されることを保証する。
• 理論的整合性の証明：十分な容量とデータのもとで、分離された目的関数を最適化することで最適な方策が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 メタ強化学習における探索と活用の分離は、「鶏とたまご」問題を解消できるか？ また、最適な探索行動を損なわないか？
• RQ2 分離された探索目的関数は、タスク固有の情報のみを回復できるか？ それにより、不適切なデータ収集を回避できるか？
• RQ3 問題IDの表現を介した活用学習は、エンドツーエンド学習と比較してサンプル効率が向上するか？
• RQ4 提案手法は、複雑で報酬がスパarselyな環境において、最先端のメタ強化学習アルゴリズムを上回る報酬を達成できるか？
• RQ5 分離された目的関数は理論的に整合的か？ すなわち、それを最適化することで最適な方策が得られるか？

主な発見

• Dreamは、スパarsely-rewardedな3Dビジュアルナビゲーションベンチマークにおいて、Pearl、E-RL2、Import、VariBADといった最先端手法と比較して90%高い報酬を達成した。
• 理論的分析により、Dreamはエンドツーエンド手法（例：RL2）と比較して、サンプル複雑度を $|\mathcal{A}|^{H}|\mathcal{M}|$ 倍低減することが示された。
• Dreamは、最適な探索方策を $\mathcal{O}(|\mathcal{A}|^{H}\log|\mathcal{A}|^{H})$ の期待サンプル数で学習できるが、RL2は $\Omega(|\mathcal{A}|^{2H}|\mathcal{M}|\log|\mathcal{A}|^{H})$ のサンプル数を必要とする。
• 本手法は、教育的ベンチマークおよび実世界に類似した3Dナビゲーションタスクにおいて、複雑な探索戦略を効果的に学習できた。
• 問題ID表現への情報ボトルネックにより、活用に必要な情報のみが保持された。
• 実験的結果により、Dreamは局所最適解を回避し、同時に最適な探索と活用を達成することが確認された。