[論文レビュー] Structured World Belief for Reinforcement Learning in POMDP

Gautam B. Singh, Skand Vishwanath Peri+3 more|arXiv (Cornell University)|Jul 19, 2021

Reinforcement Learning in Robotics被引用数 7

ひとこと要約

本論文は、部分観測の強化学習（POMDP）におけるオブジェクト恒常性と信念状態を統合した、新しいオブジェクト中心の世界モデルである構造的ワールド信念（SWB）を提案する。順次モンテカルロ（SMC）推論と学習可能なオブジェクト中心の動的モデル、およびファイルスロットマッチング機構を組み合わせることで、部分観測下でも長時間にわたるオブジェクト追跡が可能となり、従来のオブジェクト中心モデルや信念表現のみを用いたモデルと比較して、動画生成、計画、強化学習タスクのパフォーマンスが顕著に向上する。

ABSTRACT

Object-centric world models provide structured representation of the scene and can be an important backbone in reinforcement learning and planning. However, existing approaches suffer in partially-observable environments due to the lack of belief states. In this paper, we propose Structured World Belief, a model for learning and inference of object-centric belief states. Inferred by Sequential Monte Carlo (SMC), our belief states provide multiple object-centric scene hypotheses. To synergize the benefits of SMC particles with object representations, we also propose a new object-centric dynamics model that considers the inductive bias of object permanence. This enables tracking of object states even when they are invisible for a long time. To further facilitate object tracking in this regime, we allow our model to attend flexibly to any spatial location in the image which was restricted in previous models. In experiments, we show that object-centric belief provides a more accurate and robust performance for filtering and generation. Furthermore, we show the efficacy of structured world belief in improving the performance of reinforcement learning, planning and supervised reasoning.

研究の動機と目的

• 部分観測環境における強化学習のための既存のオブジェクト中心世界モデルに、信念状態とオブジェクト恒常性が欠如しているという問題に対処すること。
• 長時間の遮蔽や非決定的再出現に対しても、オブジェクトの追跡を長期間にわたって維持できること。
• 順次モンテカルロ（SMC）を用いてオブジェクト中心表現と信念状態推定を統合し、推論の精度と耐障害性を向上させること。
• 動画生成および下流の強化学習／計画タスクをサポートする、微分可能でエンドツーエンドのフレームワークの開発。

提案手法

• 複数のオブジェクト中心のシーン仮説（パーティクル）として世界状態を維持するために、順次モンテカルロ（SMC）を活用する。
• オブジェクトの存在（ファイル）と可視性（スロット）を分離する新しいオブジェクト中心の動的モデルを導入し、オブジェクト恒常性を強制する。
• 長時間の遮蔽後に非決定的な遠く離れた位置に再出現するオブジェクトに対して、再アタッチを可能にするファイルスロットマッチング機構を提案する。
• 任意の画像位置に対して柔軟な空間的アテンションを可能にする学習可能なアテンション機構を採用し、従来モデルの固定アテンション制限を克服する。
• 世界モデルと提案分布を同時に学習可能にする自己符号化SMC目的関数を用い、誤りに強い性能と多様で現実的な仮説の維持を実現する。
• RNNを用いた状態遷移モデルと、速度オフセットに基づく位置予測を組み合わせ、動的オブジェクトの運動をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト中心表現と信念状態を効果的に統合することで、部分観測環境下でのパフォーマンスが向上するか？
• RQ2 微分可能でSMCベースのフレームワークにおいて、オブジェクト恒常性をどのようにモデル化できるか？　特に、長時間の遮蔽にわたってオブジェクトの同一性を維持できるか？
• RQ3 非決定的かつ遠く離れた位置に再出現するオブジェクトに対して、再アタッチの不確実性を解消するにはどのようなメカニズムが必要か？
• RQ4 オブジェクト中心の信念統合が、動画生成、計画、強化学習といった下流タスクにどのように寄与するか？
• RQ5 SMCパーティクル数を増加させることで、複雑なPOMDPにおける信念推定の正確性と耐障害性がどの程度向上するか？

主な発見

• SWBは、動画モデリング、生成、追跡タスクにおいて、オブジェクト中心表現のみ、または信念表現のみを用いたモデルを上回る性能を達成する。
• 正確で多様かつ持続的なオブジェクト中心の信念状態を維持することで、強化学習と計画タスクのパフォーマンスが向上する。
• SMCパーティクル数を増加させることで、信念推定の正確性と下流タスクのパフォーマンスが向上し、本手法のスケーラビリティが実証される。
• ファイルスロットマッチング機構により、長時間の遮蔽後でも信頼性の高いオブジェクト再アタッチが可能となり、追跡の耐障害性が顕著に向上する。
• 自己符号化SMC目的関数により、追跡エラーに対しても柔軟に対応可能であり、複数の妥当なシーン仮説を同時に維持できる。
• 実験的結果から、SWBは2Dおよび3DのPOMDPベンチマーク、特に2D Mazeおよび3D Food Chase環境において、最先端のパフォーマンスを達成している。