[論文レビュー] COBRA: Data-Efficient Model-Based RL through Unsupervised Object Discovery and Curiosity-Driven Exploration

Nicholas Watters, Löıc Matthey+3 more|arXiv (Cornell University)|May 22, 2019

Reinforcement Learning in Robotics参考文献 36被引用数 67

ひとこと要約

COBRAは、教師なしのオブジェクト中心表現学習、好奇心駆動の探索、そしてモデルベースRLを組み合わせて、連続アクション環境におけるデータ効率と頑健性を持つ制御を実現します。オブジェクト表現とダイナミクスを学ぶための無監督探索フェーズを用い、その後、1ステップ計画を備えたモデルベースの報酬予測器でタスクを解決します。

ABSTRACT

Data efficiency and robustness to task-irrelevant perturbations are long-standing challenges for deep reinforcement learning algorithms. Here we introduce a modular approach to addressing these challenges in a continuous control environment, without using hand-crafted or supervised information. Our Curious Object-Based seaRch Agent (COBRA) uses task-free intrinsically motivated exploration and unsupervised learning to build object-based models of its environment and action space. Subsequently, it can learn a variety of tasks through model-based search in very few steps and excel on structured hold-out tests of policy robustness.

研究の動機と目的

• 手作りの監視なしでデータ効率と頑健性を高める深層強化学習を動機づける。
• 生のピクセルから発見されるオブジェクト中心の表現を開発する。
• 教師なしフェーズで訓練された遷移モデルと好奇心駆動の探索を統合する。
• 事前学習済みの世界モデルを用いたモデルベースの計画で迅速なタスク解決を可能にする。

提案手法

• MONetを用いてピクセルからスロットベースのオブジェクト中心のシーン表現を取得する。
• アクション条件付きのスロット毎遷移モデルを訓練し次のステップのオブジェクト表現を予測する。
• オブジェクトを遷移モデルの予測誤差を最大化するように動かす敵対的探索ポリシーを活用する。
• 連続4Dアクション空間の分布をパラメータ化して探索のために情報量の多いアクションをサンプルする。
• タスクフェーズでは視覚・遷移・探索モジュールを凍結し報酬予測器を訓練する。予測された次状態と報酬を用いてサンプルされたアクションを評価し1ステップのモデル予測制御を行う。

実験結果

リサーチクエスチョン

• RQ1 教師なしのオブジェクト発見は、下流タスクのデータ効率を改善する表現を生み出せるのか？
• RQ2 好奇心駆動の敵対的探索は、オブジェクト中心のRLにおけるダイナミクス学習と頑健性を改善しますか？
• RQ3 事前計算された世界モデルを用いたタスク非依存のモデルベース探索は、連続制御における迅速なタスク解決にどれだけ有効か？
• RQ4 タスクに無関係な摂動に対する方策の頑健性に対する、オブジェクト中心表現の結合の影響は何か？

主な発見

• COBRAは高いデータ効率を達成し、ベースラインと比較してオンタスク環境ステップが非常に少ない状態でタスクを解決する。
• エージェントは保持外のテストにおいてタスクに無関係な摂動に対する頑健性を示す。
• 教師なし探索とオブジェクト中心の遷移モデルを組み合わせると、モデルベース探索による迅速な方策学習を実現する。
• 凍結された世界モデルの上に報酬予測器を学習することで、効果的なワンステップMPC方策を得る。
• このアプローチは複数のタスクに対して事前訓練を平滑化し、タスク特化の方策訓練の必要性を減らす。