[論文レビュー] Dynamics-Aware Embeddings

WILLIAM F. WHITNEY, Rajat Agarwal+2 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 10

ひとこと要約

本論文では、強化学習におけるサンプル効率を向上させるために、状態と行動を統合的に表現するダイナミクスに配慮した埋め込みを提案する。埋め込み状態と行動から将来の状態を予測することで、本手法は効率的なポリシー学習を可能にし、100万〜200万ステップの範囲でピクセルからの高パフォーマンス制御を達成する。行動埋め込みのみで、低次元制御タスクにおける性能が向上する。

ABSTRACT

In this paper we consider self-supervised representation learning to improve sample efficiency in reinforcement learning (RL). We propose a forward prediction objective for simultaneously learning embeddings of states and actions. These embeddings capture the structure of the environment's dynamics, enabling efficient policy learning. We demonstrate that our action embeddings alone improve the sample efficiency and peak performance of model-free RL on control from low-dimensional states. By combining state and action embeddings, we achieve efficient learning of high-quality policies on goal-conditioned continuous control from pixel observations in only 1-2 million environment steps.

研究の動機と目的

• 自己教師付き表現学習を通じて強化学習におけるサンプル効率を向上させること。
• 環境の潜在的ダイナミクスを捉える状態と行動の統合埋め込みを学習すること。
• 低次元制御および高次元ピクセルベースの連続的制御の両方において、効率的なポリシー学習を可能にすること。
• 行動埋め込みのみでモデルフリー強化学習の性能が向上することを実証すること。

提案手法

• 将来の状態を埋め込み状態と行動から予測する前方予測目的を提案する。
• 状態と行動を共有の埋め込みにマップするニューラルネットワークを訓練し、ダイナミック構造を保持する。
• 報酬信号なしに表現を事前学習するための自己教師信号として予測損失を用いる。
• 一般化と下流のポリシー学習を向上させるために、状態と行動の埋め込みを同時に最適化する。
• 微調整なしに、学習済み埋め込みを下流の強化学習エージェントに適用する。

実験結果

リサーチクエスチョン

• RQ1 統合された状態・行動埋め込みは、モデルフリー強化学習におけるサンプル効率を向上させることができるか？
• RQ2 行動埋め込みのみで、低次元制御タスクにおける性能向上はどの程度有効か？
• RQ3 ダイナミクスに配慮した埋め込みは、ゴール条件付き制御におけるピクセル観測からの効率的ポリシー学習を可能にするか？
• RQ4 統合された状態・行動表現は、下流の強化学習性能にどの程度寄与するか？

主な発見

• 行動埋め込みのみで、低次元制御タスクにおけるモデルフリー強化学習のサンプル効率とピークパフォーマンスが顕著に向上する。
• 本手法は、ピクセルベースの連続的制御タスクにおいて、たった100万〜200万環境ステップで高品質なポリシー学習を達成する。
• 状態と行動の統合埋め込みは、環境のダイナミクスを捉える有効な表現学習を可能にする。
• 自己教師付き前方予測目的は、報酬信号なしに有用なダイナミクスに配慮した表現を成功裏に学習する。