[論文レビュー] Self-supervised Visual Reinforcement Learning with Object-centric Representations

Andrii Zadaianchuk, Maximilian Seitzer+1 more|arXiv (Cornell University)|Nov 29, 2020

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文では、複数のオブジェクトを含む環境で再利用可能なスキルを発見・学習するために、構成的生成世界モデル（SCALOR）から得られるオブジェクト中心の表現を用いる自己教師あり視覚強化学習フレームワーク、SMORLを提案する。構造的で分離されたオブジェクト表現とゴール条件付きアテンションポリシーを活用することで、画像観測のみで、かつ真のラベルなしの条件下でも、多様な構成的タスク（例：複数オブジェクトの再配置）において、VAEベースのベースラインを上回る優れた性能を達成する。

ABSTRACT

Autonomous agents need large repertoires of skills to act reasonably on new tasks that they have not seen before. However, acquiring these skills using only a stream of high-dimensional, unstructured, and unlabeled observations is a tricky challenge for any autonomous agent. Previous methods have used variational autoencoders to encode a scene into a low-dimensional vector that can be used as a goal for an agent to discover new skills. Nevertheless, in compositional/multi-object environments it is difficult to disentangle all the factors of variation into such a fixed-length representation of the whole scene. We propose to use object-centric representations as a modular and structured observation space, which is learned with a compositional generative world model. We show that the structure in the representations in combination with goal-conditioned attention policies helps the autonomous agent to discover and learn useful skills. These skills can be further combined to address compositional tasks like the manipulation of several different objects.

研究の動機と目的

• 未構造的な視覚観測のみを用いて、複数のオブジェクトを含む構成的環境で有用で汎用的なスキルを学習する課題に対処すること。
• 固定長のVAE潜在変数ではなく、構造的で分離されたオブジェクト中心の表現を活用することで、視覚強化学習におけるサンプル効率と探索性能を向上させること。
• 人為的な報酬関数や真のラベルなしに、自律的なゴール発見とスキル学習を可能にすること。
• オブジェクト中心の表現が、視覚強化学習における分布外一般化と構成的タスクの解決に寄与するかどうかを評価すること。

提案手法

• 本手法は、SCALORアーキテクチャを用いて、生の画像観測からオブジェクト中心の表現を学習し、シーンを離散的かつ構造的なエンティティに分解する。
• ゴール条件付きアテンションポリシーを訓練し、現在の観測とゴール表現に基づいて行動を選択することで、ゴール条件付き制御を実現する。
• 訓練中は、初期観測の表現から条件付きにゴール表現をサンプリングすることで、多様なゴールを探索可能にする。
• テスト時、外部のゴール画像が候補ゴール表現に符号化され、エージェントは最も一致するゴールを順次選択する。
• 密度の高いまたは疎な報酬形状に依存せず、オブジェクト中心の潜在空間の構造から得られる自己教師あり報酬信号を用いる。
• 生成的世界モデルを統合することで、シーンの分解と表現の同時学習が可能となり、データ効率と転移性が向上する。

実験結果

リサーチクエスチョン

• RQ1 構成的生成モデルを用いて学習したオブジェクト中心の表現は、複数オブジェクトの視覚環境におけるスキル発見と強化学習性能を向上させるか？
• RQ2 SMORLは、VAEベースの自己教師あり強化学習手法と比較して、複雑な構成的タスクにおけるサンプル効率と性能で優れているか？
• RQ3 SMORLエージェントは、訓練時に見たオブジェクト数とは異なる数のオブジェクトを含む環境へどれほど一般化できるか？
• RQ4 構造的で分離された表現を用いることで、標準的なVAEベースの手法と比較して、分布外一般化性能が向上するか？

主な発見

• マルチオブジェクト視覚的再配置環境において、SMORLはRIGおよびSkew-Fitを顕著に上回り、複雑なタスクにおけるオブジェクト中心の表現の有効性を示した。
• より単純なマルチオブジェクト視覚的プッシュ環境では、SMORLは最良のベースラインと同等の性能を達成し、タスクの複雑さにかかわらず堅牢性を示した。
• 2オブジェクトの再配置タスクで訓練したSMORLエージェントは、1オブジェクトのテスト環境へも効果的に一般化し、1オブジェクトで事前学習したエージェントと同等の性能を達成した。
• 強力な結果を示したが、真のラベル付き表現を用いたSACと比較して、SMORLは依然として性能が劣っており、SCALORにおけるオクルージョン処理の限界と表現ノイズの影響が要因であると考えられる。
• 本手法により、学習済みの部分タスクを逐次実行できることが示され、エージェントがスキルを組み合わせることで複雑な構成的ゴールを達成できるようになった。
• SCALORの学習コストはVAEよりも高いが、推論のオーバーヘッドは低く保たれ、事前学習後は展開に適したスケーラブルなアプローチであることが示された。