[論文レビュー] SlotFormer: Unsupervised Visual Dynamics Simulation with Object-Centric Models

Ziyi Wu, Nikita Dvornik+3 more|arXiv (Cornell University)|Oct 12, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

SlotFormerは、物体中心の表現を用いて動画から教師なしで視覚的ダイナミクスを学ぶ、変換器ベースで自己回帰的なモデルを提案する。長時間予測の分野で最先端の性能を達成し、追加の教師信号なしにVQA やゴール条件付き計画といった下流タスクの性能を向上させる。

ABSTRACT

Understanding dynamics from visual observations is a challenging problem that requires disentangling individual objects from the scene and learning their interactions. While recent object-centric models can successfully decompose a scene into objects, modeling their dynamics effectively still remains a challenge. We address this problem by introducing SlotFormer -- a Transformer-based autoregressive model operating on learned object-centric representations. Given a video clip, our approach reasons over object features to model spatio-temporal relationships and predicts accurate future object states. In this paper, we successfully apply SlotFormer to perform video prediction on datasets with complex object interactions. Moreover, the unsupervised SlotFormer's dynamics model can be used to improve the performance on supervised downstream tasks, such as Visual Question Answering (VQA), and goal-conditioned planning. Compared to past works on dynamics modeling, our method achieves significantly better long-term synthesis of object dynamics, while retaining high quality visual generation. Besides, SlotFormer enables VQA models to reason about the future without object-level labels, even outperforming counterparts that use ground-truth annotations. Finally, we show its ability to serve as a world model for model-based planning, which is competitive with methods designed specifically for such tasks.

研究の動機と目的

• 動画内の物体同士の長期的空間時間的相互作用を捉えることができる、統合的で教師なしの視覚的ダイナミクスシミュレーション手法の開発。
• 個々の物体とその運動を分離する物体中心の表現を活用することで、動画予測の性能を向上させること。
• 教師なしのダイナミクス知識を、視覚的質問応答（VQA）やゴール条件付き計画といった下流の教師ありタスクへ転移させること。
• 焼入れフレーム中に物体が出現または消失する場合でも、物体のダイナミクスを正確にシミュレートできることを保証し、隠蔽や再出現に対してもロバストであることを確保すること。
• 単一の統合的ダイナミクスモデルが、生成タスクおよび推論タスクの両方で、専用に設計されたモデルを上回ることを示すこと。

提案手法

• SlotFormerは、事前学習済みの物体中心モデル（例：SAVi）を用いて動画フレームから抽出された物体中心特徴量を処理し、各物体を学習可能なスロットとして扱う。
• 自己回帰的デコーダーとして変換器ベースのアーキテクチャを用い、複数の時刻にわたる過去の物体スロットに注目することで、将来の物体特徴量を予測する。
• 入力フレームの系列を条件として用いることで、空間時間的関係を捉え、物体の性質や運動の整合性を維持できる。
• アテンション機構により、隠蔽されている場合でも関連する時刻や物体に注目することで、物体同士の相互作用（例：衝突）を推論できる。
• 物体レベルのアノテーションを必要とせず、将来のフレームにおける再構成損失を用いて、エンドツーエンドで教師なしにモデルを学習する。
• 下流タスクでは、予測された物体特徴量にタスク固有のリーディングヘッドを追加し、VQA や計画を実行するが、ラベルに対する追加の微調整は行わない。

実験結果

リサーチクエスチョン

• RQ1 物体中心の表現を用いた変換器ベースのモデルは、特に長期予測において、教師なし動画予測で最先端の性能を達成できるか？
• RQ2 動画予測から得られる教師なしのダイナミクス知識は、VQA やゴール条件付き計画といった下流の教師ありタスクの性能をどの程度向上させられるか？
• RQ3 衝突や物体の再出現といった未知の物体相互作用や動的イベントに対して、モデルはどの程度一般化できるか？
• RQ4 物体が隠蔽されているか、後続のフレームでのみ出現する場合（すなわち焼入れ中）でも、正確なダイナミクスシミュレーションを維持できるか？
• RQ5 自己アテンションによる空間時間的関係の統合的モデリングは、先行手法と比較して、より忠実で整合性のある物体運動予測を可能にするか？

主な発見

• SlotFormerは、OBJ3D および CLEVRER の2つの動画予測ベンチマークで最先端の性能を達成し、特に長時間予測において顕著な向上を示した。物体に注目した指標においても顕著な改善が見られた。
• CLEVRER データセットでは、Fréchet Video Distance (FVD) が 11.2 に達し、動画品質および物体レベルの整合性の両面で、先行手法を上回った。
• VQA のためのワールドモデルとして用いた場合、物体レベルのアノテーションがなくても、Clevr-VQA データセットで精度を 6.8% 向上させた。
• ゴール条件付き計画のタスクでは、Physion といった環境でもエージェントが効果的に計画を立てられるようになり、専用に訓練されたモデルと同等の成功確率を達成した。
• アブレーションスタディの結果、焼入れフレームを最大15フレーム（T=15）まで使用することで性能が向上し、VQA 精度の観点では、ロールアウト長さが K=10 で最適な効果が得られた。
• 焼入れフレーム中にシーンに新たな物体が登場する場合でも、そのダイナミクスを正しく推論できることを示した。CLEVRER では、初期段階で見えない物体の運動を正確に予測できた。