[論文レビュー] Unsupervised Object-Based Transition Models for 3D Partially Observable Environments

Antonia Creswell, Rishabh Kabra+2 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Vision and Imaging被引用数 8

ひとこと要約

本稿では、3次元の部分観測環境において時間的に一貫したオブジェクトの同一性と持続性を維持するため、スロット単位のメモリとアライメントモジュールを用いた、教師なしでオブジェクト中心の遷移モデルであるObjects-Align-Transition (OAT) を提案する。ピクセルレベルの損失ではなくオブジェクトレベルの損失でエンド・ツー・エンドに訓練することで、特にオブジェクトの隠蔽や再出現時において、最先端のベースラインと比較してはるかに正確な長時間予測を達成する。

ABSTRACT

We present a slot-wise, object-based transition model that decomposes a scene into objects, aligns them (with respect to a slot-wise object memory) to maintain a consistent order across time, and predicts how those objects evolve over successive frames. The model is trained end-to-end without supervision using losses at the level of the object-structured representation rather than pixels. Thanks to its alignment module, the model deals properly with two issues that are not handled satisfactorily by other transition models, namely object persistence and object identity. We show that the combination of an object-level loss and correct object alignment over time enables the model to outperform a state-of-the-art baseline, and allows it to deal well with object occlusion and re-appearance in partially observable environments.

研究の動機と目的

• 既存の遷移モデルが部分観測可能な3次元環境におけるオブジェクトの持続性と同一性を扱う際の限界を克服すること。
• 生のピクセルではなく、分離済みのオブジェクト中心の表現を用いることで、長時間予測の精度を向上させること。
• オブジェクトの連続性を遮蔽を介してモデル化することで、学習時の時間枠を超えた正確なロールアウトを可能にすること。
• 視覚的ワールドモデリングにおける頑健な一般化のため、オブジェクトレベルの損失と時間的アライメントの両方が不可欠であることを示すこと。

提案手法

• モデルは、入力画像からスロット単位のオブジェクト特徴を生成するため、シーン分解とオブジェクト表現モジュールとしてMONetを用いる。
• アライメントモジュールは、スロット単位のメモリを活用し、一時的な遮蔽中ですら、各オブジェクトが同じスロットに一貫して表現されるように保証する。
• スロット単位の遷移モデルは、スロット単位のLSTMを備えたトランスフォーマーとして実装され、アライメント済みの表現に基づいて将来のオブジェクト状態を予測する。
• モデル全体は、予測されたオブジェクトと真値オブジェクトをマッチングするためにハンガリアンアルゴリズムを用いて計算されるオブジェクトレベルの損失を用いて、教師なしでエンド・ツー・エンドに訓練される。
• オブジェクトレベルの損失は、表現ベクトルそのものに対して直接計算され、ピクセルの再構成を必要としない。
• アライメント機構により、オブジェクトの同一性と持続性を追跡でき、オブジェクトが長期間見えなくても可能になる。

実験結果

リサーチクエスチョン

• RQ1 教師なしのオブジェクト中心の遷移モデルは、部分観測下でも長時間にわたり一貫したオブジェクトの同一性と持続性を維持できるか？
• RQ2 ピクセルレベルの損失ではなくオブジェクトレベルの損失で訓練することで、一般化性能と長時間予測の精度が向上するか？
• RQ3 オブジェクトスロットの時間的アライメントは、遮蔽や動的な環境下での性能にどのように影響するか？
• RQ4 このようなモデルは、長期間の遮蔽や複雑な相互作用を伴う現実世界のロボット軌道に一般化できるか？

主な発見

• OATは、シミュレーテッド3次元環境において、最先端のモデルOP3を上回る長時間予測性能（最大15ステップ）を示し、特にオブジェクトの遮蔽や再出現時において顕著である。
• アブレーションスタディの結果、オブジェクトレベルの損失とアライメントの両方が不可欠であることが判明。両方の欠落があるモデルは、オブジェクトの再出現を正しく予測できず、ぼやけた不正確な出力を生成する。
• OATは、実際のロボットアームデータセットにおいて、51ステップにわたって完全に遮蔽された赤色のオブジェクトの再出現を正しく予測した。これは、頑健なオブジェクト持続性モデリングを示している。
• 100ステップにわたってアンロールした場合（6ステップの学習時間枠をはるかに超えて）、OATはロボットアームの運動とオブジェクトの相互作用の両方を正確に維持した予測を達成した。
• ピクセルレベルの損失で訓練されたモデルは、予測が徐々にぼやけていくが、オブジェクトレベルの損失では構造の明瞭さと同一性が保持される。
• スロット単位のアライメントとオブジェクトレベルの損失の組み合わせにより、モデルは未観測のオブジェクト構成や長期依存関係に一般化できるようになった。