[論文レビュー] A Policy Gradient Method for Task-Agnostic Exploration

Mirco Mutti, Lorenzo Pratissoli+1 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 8

ひとこと要約

本稿では、限られたホライズンの軌道によって誘導される状態分布のエントロピーをk近傍法による推定を用いて最大化する、モデルフリーな方策勾配法であるMEPOLを提案する。ダイナミクスや方策分布をモデル化せずに状態分布エントロピーを最適化することで、高次元連続制御環境における効率的な後続タスク学習を可能にする、タスクに依存しない探索方策を学習する。

ABSTRACT

In a reward-free environment, what is a suitable intrinsic objective for an agent to pursue so that it can learn an optimal task-agnostic exploration policy? In this paper, we argue that the entropy of the state distribution induced by limited-horizon trajectories is a sensible target. Especially, we present a novel and practical policy-search algorithm, Maximum Entropy POLicy optimization (MEPOL), to learn a policy that maximizes a non-parametric, $k$-nearest neighbors estimate of the state distribution entropy. In contrast to known methods, MEPOL is completely model-free as it requires neither to estimate the state distribution of any policy nor to model transition dynamics. Then, we empirically show that MEPOL allows learning a maximum-entropy exploration policy in high-dimensional, continuous-control domains, and how this policy facilitates learning a variety of meaningful reward-based tasks downstream.

研究の動機と目的

• 報酬なしの環境におけるタスクに依存しない探索を学習するための適切な内因的目的を特定すること。
• 環境のダイナミクスや報酬関数にアクセスできない状況での探索方策の設計の課題に対処すること。
• 遷移ダイナミクスや方策分布の明示的モデル化を必要とせずに、状態分布エントロピーを最大化する手法を開発すること。
• 高次元連続制御における多様で探索的な方策を学習することで、効果的な後続タスク学習を可能にすること。

提案手法

• MEPOLは、限られたホライズンの軌道によって誘導される状態分布のエントロピーを、非パrametricなk近傍法による推定で近似する。
• このエントロピー推定に基づいて方策勾配の目的関数を定式化し、直接的に探索行動を最適化する。
• 状態訪問分布の推定や遷移ダイナミクスのモデル化を避けるために、完全にモデルフリーな設定で動作する。
• 方策は、エントロピー最大化目的関数に標準的な方策勾配技術を適用して更新される。
• アルゴリズムは、高次元連続制御ドメインにおいてスケーラブルで実用的であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 短いホライズンの軌道によって誘導される状態分布のエントロピーを最大化することは、効果的なタスクに依存しない探索をもたらすか？
• RQ2 遷移ダイナミクスのモデル化や方策分布の推定なしに、そのような探索方策を学習することは可能か？
• RQ3 得られた方策は、連続制御における多様な後続の密集報酬タスクにどの程度一般化するか？
• RQ4 提案手法は、従来の内因的好奇心や好奇心ベースの探索アプローチに比べ、後続タスクのサンプル効率において優れているか？

主な発見

• MEPOLは、ダイナミクスのモデル化を一切行わず、高次元連続制御環境で最大エントロピー探索方策を効果的に学習した。
• 本手法は、複数のタスクにおいて、後続タスク学習で最先端のパフォーマンスを達成し、強いサンプル効率を示した。
• MEPOLが学習した方策は、状態空間を多様かつ効果的にカバーしており、新しいタスクへの迅速な適応を可能にした。
• 実験的結果から、MEPOLは、モデルベースや好奇心ベースの内因的報酬に依存するベースライン手法を、後続タスクパフォーマンスの観点で上回った。