[論文レビュー] Entity Abstraction in Visual Model-Based Reinforcement Learning

Rishi Veerapaneni, John D. Co-Reyes+6 more|arXiv (Cornell University)|Oct 28, 2019

Reinforcement Learning in Robotics参考文献 65被引用数 32

ひとこと要約

OP3 は、教師なしで生の視覚的観測から物体表現を発見・結合する、完全に確率的でエントリティ中心のフレームワークを提示する。エントリティ抽象化—共有の局所関数によるエントリティの対称的処理—を強制することで、新しい物体構成や数に一般化でき、ブロック積みタスクにおいて、教師ありベースラインおよび最先端の動画予測モデルよりも2–3倍の精度で優れている。

ABSTRACT

This paper tests the hypothesis that modeling a scene in terms of entities and their local interactions, as opposed to modeling the scene globally, provides a significant benefit in generalizing to physical tasks in a combinatorial space the learner has not encountered before. We present object-centric perception, prediction, and planning (OP3), which to the best of our knowledge is the first fully probabilistic entity-centric dynamic latent variable framework for model-based reinforcement learning that acquires entity representations from raw visual observations without supervision and uses them to predict and plan. OP3 enforces entity-abstraction -- symmetric processing of each entity representation with the same locally-scoped function -- which enables it to scale to model different numbers and configurations of objects from those in training. Our approach to solving the key technical challenge of grounding these entity representations to actual objects in the environment is to frame this variable binding problem as an inference problem, and we develop an interactive inference algorithm that uses temporal continuity and interactive feedback to bind information about object properties to the entity variables. On block-stacking tasks, OP3 generalizes to novel block configurations and more objects than observed during training, outperforming an oracle model that assumes access to object supervision and achieving two to three times better accuracy than a state-of-the-art video prediction model that does not exhibit entity abstraction.

研究の動機と目的

• シーンをグローバルなシーン表現ではなく、エントリティおよびその局所的相互作用としてモデル化することにより、視覚的モデルベース強化学習における一般化を向上させること。
• 生の視覚的観測と時間的フィードバックのみを用いて、抽象的エントリティ変数を現実世界の物体に固定する課題に対処すること。
• エントリティ表現における対称性を強制することにより、組み合わせ的に複雑な複数物体環境におけるスケーラブルな推論を可能にすること。
• 時間的連続性とインタラクティブフィードバックを用いて、動的に推論されたエントリティ状態の上での計画と予測を可能にするフレームワークの開発。
• エントリティを動的確率的モデル内の潜在的確率変数として扱うことで、記号的推論と連続的・高次元の視覚データを統合すること。

提案手法

• 潜在状態を局所的エントリティ変数に分解し、各変数を対称的かつ共有される関数で処理することでエントリティ抽象化を強制する、状態因子化されたPOMDPを定式化する。
• 時間的連続性と行動-観測フィードバックを用いて、エントリティ変数上の事後分布を改善するインタラクティブ推論アルゴリズムを採用する。
• 時間軸にわたってエントリティ状態を伝搬するダイナミクスモデルを統合し、ごみや隠蔽があるシーンでも物体の曖昧性をより良く解消できるようにする。
• 観測と行動の系列からのエントリティ表現を効率的に推論するため、アモルタイズド反復変分推論を用いる。
• 予測されたエントリティ状態と行動に基づいて将来の観測を予測するための微分可能で確率的な観測モデルを適用する。
• 同じエントリティ中心のダイナミクスモデルと観測モデルを用いて、予測された将来のエントリティ状態をゴール状態と照合することで計画を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エントリティ中心の局所的相互作用でシーンをモデル化することで、視覚的モデルベース強化学習における新しい物体構成や数への一般化が向上するか？
• RQ2 生の視覚的観測と時間的フィードバックのみを用いて、エントリティ表現を環境内の実際の物体に固定できるか？
• RQ3 エントリティ処理関数における対称性（エントリティ抽象化）を強制することで、未確認の複数物体構成へのスケーラビリティと転送性が向上するか？
• RQ4 時間的一致性を持つインタラクティブ推論は、隠蔽やごみがある複雑な現実世界のシーンにおける物体の曖昧性解消を改善できるか？
• RQ5 エントリティ抽象化は、グローバルまたは順列に敏感なモデルと比較して、予測精度および計画性能において優れているか？

主な発見

• OP3 はトレーニング時に見られなかったブロック構成やより多くの物体に対しても一般化でき、強力な構成的一般化を示している。
• OP3 は、真の物体ラベルへのアクセスを仮定するオラクルモデルでさえも上回り、最先端の動画予測モデルよりも2–3倍の高い予測精度を達成している。
• 実世界の評価では、OP3 は時間的ダイナミクスと行動フィードバックを活用して、ロボットアーム、タオル、コンテナなどの物体を正しく分離しているが、IODINE（フレーム単位で適用）は色セグメンテーションを超えることができていない。
• インタラクティブ推論プロセスにより、OP3 は時間ステップを跨いでエントリティ表現を改善でき、予測誤差を用いて潜在的割り当てを是正することで、物体セグメンテーション精度を向上させている。
• OP3 は、遮蔽や変形物体が存在する状況でも、オブジェクト追跡およびセグメンテーションにおける時間的一致性を維持しており、非動的ベースライン手法を上回っている。
• エントリティ抽象化を強制することで、異なる物体構成間での知識移転が可能となり、任意の数や配置の物体に対して同じ関数を一貫して適用できるようになっている。