[論文レビュー] Unsupervised Meta-Learning for Reinforcement Learning

Abhishek Gupta, Benjamin Eysenbach+2 more|arXiv (Cornell University)|Jun 12, 2018

Machine Learning and Data Classification参考文献 63被引用数 57

ひとこと要約

論文は、相互情報によりタスクを自動生成して環境特異的な高速学習手順を学ぶ無監督メタRLを提案し、MAMLで新しい報酬へ迅速に適応する。

ABSTRACT

Meta-learning algorithms use past experience to learn to quickly solve new tasks. In the context of reinforcement learning, meta-learning algorithms acquire reinforcement learning procedures to solve new problems more efficiently by utilizing experience from prior tasks. The performance of meta-learning algorithms depends on the tasks available for meta-training: in the same way that supervised learning generalizes best to test points drawn from the same distribution as the training points, meta-learning methods generalize best to tasks from the same distribution as the meta-training tasks. In effect, meta-reinforcement learning offloads the design burden from algorithm design to task design. If we can automate the process of task design as well, we can devise a meta-learning algorithm that is truly automated. In this work, we take a step in this direction, proposing a family of unsupervised meta-learning algorithms for reinforcement learning. We motivate and describe a general recipe for unsupervised meta-reinforcement learning, and present an instantiation of this approach. Our conceptual and theoretical contributions consist of formulating the unsupervised meta-reinforcement learning problem and describing how task proposals based on mutual information can be used to train optimal meta-learners. Our experimental results indicate that unsupervised meta-reinforcement learning effectively acquires accelerated reinforcement learning procedures without the need for manual task design and these procedures exceed the performance of learning from scratch.

研究の動機と目的

• メタRLにおける手動のメタトレーニングタスク設計の削減。
• 固定された環境ダイナミクス内で新しい報酬関数への迅速な適応を可能にする。
• 相互情報に基づくタスク提案がほぼ oracle のメタ学習者を生み出すことができることを示す。
• 初期学習からの学習と純粋な探索後のファインチューニングよりの利点を示す。

提案手法

• 報酬のない CMP (制御マルコフ過程) を定義し、学習を高速適応手順 f を見つけることとして定式化する。
• 潜在変 z によって誘導されるパラメトリック報酬 r_z(s,a) を用いたタスク提案を提案し、 worst-case regret を最小化するよう最適化する。
• 実用的な無監督メタ学習を、DIAYN に基づく多様なタスクを生成する相互情報目的とメタラーナー(MAML)を用いて
• 識別器 D_phi を訓練して I(z;s) を最大化し、タスク生成のために r_z(s,a)=log D_phi(z|s) を導出する。
• DIAYN を用いて潜在条件付きポリシーを得てから、提案されたタスクを横断して学習する方法を学ぶために MAML を適用する。
• 比較としてランダム識別器によるランダムタスクベースラインを議論する。

実験結果

リサーチクエスチョン

• RQ1 無監督のタスク提案は meta-RL において手作業で設計されたメタトレーニングタスク分布の必要性を排除できるか？
• RQ2 相互情報に基づくタスク提案は未知の報酬関数へ適応する環境特異的な高速学習手順を生み出すか？
• RQ3 無監督メタRLはスクラッチ学習および手作りのメタトレーニング分布と比較してベンチマーク制御タスクでどうなるか？

主な発見

• 無監督メタRLは、スクラッチからの学習と比較して複数のタスク・環境で学習を加速する。
• DIAYN ベースのタスク提案は、複雑なタスクでは一般にランダムなタスク提案よりも優れている。
• 無監督メタ学習は、手作りのタスク分布に依存する oracle 法の性能に近づくことができる。
• 新しい報酬でファインチューニングする際、UML-DIAYN アプローチは多くの場合、DIAYN 初期化または VIME ベースの事前学習を上回る。
• 結果は、無監督の相互作用を通じて学習された環境特異的事前情報が迅速な適応を高めることを示唆している。