[論文レビュー] Self-Supervised Exploration via Disagreement

Deepak Pathak, Dhiraj Gandhi+1 more|arXiv (Cornell University)|Jun 10, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 17

ひとこと要約

本論文では、アンサンブルの予測モデル同士の不一致を最大化することで、外部報酬が不要な効率的でサンプル効率の高い探索を実現する自己教師付き探索手法を提案する。探索を微分可能最適化問題として定式化することにより、報酬フリーの直接尤度最大化によるポリシー学習が可能となり、確率的環境においても安定した性能を発揮し、1,000回未満の相互作用で実ロボットを用いたオブジェクト操作をゼロから実現する。

ABSTRACT

Efficient exploration is a long-standing problem in sensorimotor learning. Major advances have been demonstrated in noise-free, non-stochastic domains such as video games and simulation. However, most of these formulations either get stuck in environments with stochastic dynamics or are too inefficient to be scalable to real robotics setups. In this paper, we propose a formulation for exploration inspired by the work in active learning literature. Specifically, we train an ensemble of dynamics models and incentivize the agent to explore such that the disagreement of those ensembles is maximized. This allows the agent to learn skills by exploring in a self-supervised manner without any external reward. Notably, we further leverage the disagreement objective to optimize the agent's policy in a differentiable manner, without using reinforcement learning, which results in a sample-efficient exploration. We demonstrate the efficacy of this formulation across a variety of benchmark environments including stochastic-Atari, Mujoco and Unity. Finally, we implement our differentiable exploration on a real robot which learns to interact with objects completely from scratch. Project videos and code are at https://pathak22.github.io/exploration-by-disagreement/

研究の動機と目的

• 従来の内生的報酬手法が失敗するかサンプル効率が著しく低い確率的環境における効率的探索の課題に対処すること。
• 外部報酬や高分散な強化学習推定器に依存しない自己教師付き探索フレームワークの開発。
• 探索目的を微分可能関数として定式化することで、ポリシー学習のサンプル効率を向上させること。
• 7-DOFロボットに対して、実世界での探索ポリシーのデプロイを可能にし、オブジェクト操作をゼロから学習すること。

提案手法

• 現在の状態と行動入力を入力として、次の状態遷移を予測するアンサンブルの前向き動的モデルを学習する。
• 与えられた状態-行動ペアに対するアンサンブルの予測の分散（不一致）を内生的報酬として計算する。
• 不一致の目的関数を微分可能信号として用い、REINFORCE風のポリシー勾配法を避ける直接尤度最大化によりポリシーを最適化する。
• 共有エンコーダーを用いて状態を特徴空間に符号化することで、観測や行動の確率的変動に対する耐性を向上させる。
• アンサンブルが確率的動的特性下で平均に収束するのを活用し、ノイズの多い環境に閉じ込められるのを回避する。
• RGB-D観測とリアルタイムの相互作用フィードバックを用いて、実ロボットの操作タスクに微分可能ポリシー最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル動的モデル間の不一致は、確率的環境における効果的で自己教師付きの内生的報酬として機能するか？
• RQ2 モデルの不一致に基づく微分可能ポリシー最適化は、予測誤差報酬に基づく強化学習に比べて高いサンプル効率を達成するか？
• RQ3 この手法により、外部報酬の形状付けなしに実ロボットがオブジェクト操作スキルをゼロから学習できるか？
• RQ4 不一致ベースの目的関数は、確率的動的特性に対する耐性や未観測オブジェクトへの一般化能力において、好奇心ベースの手法に比べて優れているか？

主な発見

• 微分可能で不一致に基づく探索ポリシーは、実世界の設定において1,000回未満のロボット相互作用でオブジェクト操作を達成し、ランダム探索（17%）やREINFORCEベースの好奇心（1%）を著しく上回った。
• 10個の未観測テストオブジェクトのホールドアウトセットにおいて、不一致ベースのポリシーは約67%の行動でオブジェクトに接触し、優れた一般化能力とスキルの転送性を示した。
• アンサンブルの不一致が確率的動的特性下で平均に収束するため、この手法はノイズの多い環境に閉じ込められるのを効果的に回避した。
• 尤度最大化による直接的尤度最適化により、REINFORCEのような高分散なポリシー勾配法に比べ、より高速かつ安定した学習が達成された。
• 本手法は、実世界のロボット操作タスクへのスケーラビリティを示し、7-DOFロボットアームが多様なオブジェクトと実環境で相互作用する状況にも対応した。
• 特に、行動実行の確率的特性や観測ノイズが存在する環境では、好奇心ベースの探索に比べてサンプル効率と耐性の両面で優れた性能を示した。