[論文レビュー] SCALOR: Generative World Models with Scalable Object Representations

Jindong Jiang, Sepehr Janghorbani+2 more|arXiv (Cornell University)|Oct 6, 2019

Generative Adversarial Networks and Image Synthesis被引用数 29

ひとこと要約

SCALOR は、最大 100 個の移動物体と動的背景を伴う動画に対してスケーラブルで並列的なオブジェクト指向表現学習を可能にする確率的生成世界モデルである。空間的並列注意機構とプロポーザル・リジェクション機構を用いることで、1画像あたりの時間計算量を O(1) に抑え、SQAIR よりもスケーラビリティ、計算効率、複雑な動的を伴う自然なシーンへの適用性において顕著に優れている。

ABSTRACT

Scalability in terms of object density in a scene is a primary challenge in unsupervised sequential object-oriented representation learning. Most of the previous models have been shown to work only on scenes with a few objects. In this paper, we propose SCALOR, a probabilistic generative world model for learning SCALable Object-oriented Representation of a video. With the proposed spatially-parallel attention and proposal-rejection mechanisms, SCALOR can deal with orders of magnitude larger numbers of objects compared to the previous state-of-the-art models. Additionally, we introduce a background module that allows SCALOR to model complex dynamic backgrounds as well as many foreground objects in the scene. We demonstrate that SCALOR can deal with crowded scenes containing up to a hundred objects while jointly modeling complex dynamic backgrounds. Importantly, SCALOR is the first unsupervised object representation model shown to work for natural scenes containing several tens of moving objects.

研究の動機と目的

• 従来の教師なしオブジェクト指向表現モデルが、逐次処理のためのスケーラビリティに制限を受けることに対処し、通常は数個のオブジェクトしか処理できないこと。
• 自然な動画シーンにおいて、複雑な動的背景と多数の前方物体を同時にモデル化すること。
• オブジェクトの伝搬と発見プロセスを並列化することで、時間計算量を O(N) から O(1) に削減すること。
• プロポーザル・リジェクション機構と空間的並列注意機構を導入することで、トラッキングの安定性を向上させ、再発見の頻度を低減すること。
• 数十個の移動オブジェクトと動的背景を伴う自然なシーンに、確率的生成モデルを初めて効果的に適用すること。

提案手法

• すべてのオブジェクトを同時に処理できる空間的並列注意機構を導入し、1画像あたりの時間計算量を O(1) に低減する。
• 再発見に依存するのを減らし、伝搬の崩壊を防ぐために、プロポーザル・リジェクション機構を提案する。
• 変分オートエンコーダーを用いた背景モジュールを採用し、前方物体とは独立して複雑で動的な背景をモデル化する。
• 順序付きRNNベースの処理をやめ、発見と伝搬の並列推論に置き換えた、SQAIR をインspired した確率的フレームワークを採用する。
• 微分可能プロポーザルネットワークを用いて候補となるオブジェクト状態を生成し、伝搬中に誤検出をフィルタリングするリジェクション機構を導入する。
• オブジェクトの存在、ポーズ、外観を別々の潜在変数に因子分解することで、分離表現学習を実現する共同生成モデルを活用する。

実験結果

リサーチクエスチョン

• RQ1 生成世界モデルは、最大 100 個の移動オブジェクトを伴うシーンに、計算効率を維持したままスケーリング可能か？
• RQ2 オブジェクト発見と伝搬をどのように並列化すれば、時間計算量を O(N) から O(1) に低減できるか？
• RQ3 統合モデルは、自然な動画シーンにおいて動的背景と多数の前方オブジェクトを同時にモデル化可能か？
• RQ4 プロポーザル・リジェクション機構は、逐次RNNベースのモデルと比較して、トラッキングの安定性を向上させ、再発見を減らすか？
• RQ5 確率的生成モデルは、複雑なシーンにおいて、優れた生成品質と構造的・分離された表現を同時に学習可能か？

主な発見

• SCALOR は注意機構を用いる場合に 95%、注意とリジェクションを併用する場合に 100% の伝搬率を達成し、これらのメカニズムを備えない設定よりも顕著に優れている。
• SQAIR とは異なり、1画像あたりの推論時間を O(1) に低減した。オブジェクト数に比例してスケーリングするSQAIRとは異なり、スケールに応じて数個のオーダーも速い。
• MNIST VLD の設定において、SCALOR は SQAIR よりも低い MSE に収束し、かつその収束速度も数個のオーダー速く、訓練効率に優れていることが示された。
• グランド・セントラル・ステーションデータセットでは、SCALOR はテストNLLが 28.30 であり、ベースライン（VAE: 27.59、VRNN: 27.79）と同等の性能を示したが、極めて構造的な表現を学習しているにもかかわらずである。
• SCALOR は、数十個の移動オブジェクトと動的背景を伴う自然なシーンに、教師なしオブジェクト表現モデルとして初めて効果的に適用された。これは、現実世界の動画理解への重要な一歩である。
• アブレーションスタディにより、リジェクション機構が完全な伝搬精度を達成するために不可欠であることが確認された。注意機構を用いても、リジェクションが欠落すると性能が著しく低下する。