[論文レビュー] SCALABLE OBJECT-ORIENTED SEQUENTIAL GENERATIVE MODELS

Jindong Jiang, Sepehr Janghorbani+2 more|arXiv (Cornell University)|Oct 6, 2019

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

SCALOR は、空間的並列注意とプロポーザル・レジェクション機構を用いて、最大 100 個のオブジェクトを含むシーンの教師なし学習を可能にするスケーラブルでオブジェクト指向の生成モデルである。これにより、前景オブジェクトと複雑な背景を統合的にモデル化することで、数10個の移動オブジェクトを含む自然なシーンのモデリングが初めて実現された。

ABSTRACT

The most significant limitation of previous approaches to unsupervised learning for object-oriented representation is its scalability. Most of the previous models have been shown to work only on scenes with a few objects. In this paper, we propose SCALOR, a generative model for Scalable Sequential Object-Oriented Representation. With the spatially parallel attention and proposal-rejection mechanism, SCALOR is a scalable model that can deal with orders of magnitude more objects that previous models. Besides, we introduce the background model so that it can model the foreground objects and complex background together. In experiments on large-scale MNIST and DSprite datasets, we demonstrate that SCALOR can deal with scenes with near 100 objects as well as modeling complex natural background images. Importantly, using SCALOR, we demonstrate for the first time a result of modeling natural scenes with several tens of moving objects

研究の動機と目的

• 従来のオブジェクト指向生成モデルが通常数個のオブジェクトしか扱えないというスケーラビリティの制限を克服すること。
• 多数のオブジェクト、特に移動するエンティティを含む順序付きシーンの教師なし学習を可能にすること。
• 統一された生成フレームワーク内で前景オブジェクトと複雑な自然な背景シーンの両方をモデル化すること。
• 数十個の移動オブジェクトを含む現実的な自然シーンをオブジェクト中心的かつ順序付きの方法でモデリングする可能性を実証すること。

提案手法

• SCALOR は、多数のオブジェクト間の空間的関係を並列で効率的に処理するため、空間的並列注意を採用している。
• 動的かつ段階的なオブジェクトプロポーザルの生成と精錬を可能にするため、プロポーザル・レジェクション機構を用いている。
• 複雑でオブジェクトに依存しないシーン要因を明示的に表現するため、専用の背景モデルを導入している。
• 順序付きの生成プロセスを通じて、オブジェクト中心の表現と背景特徴を同時に最適化している。
• 増加するオブジェクト数に伴っても効率的にスケーリングできる注目メカニズムを備えたアーキテクチャを活用している。
• エンド・トゥ・エンドで順序付き画像フレームを学習することで、分離可能で解釈可能なオブジェクト要因を学習する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、従来のモデルと比べて数個のオブジェクトのオーダーをはるかに超えるオブジェクト数のシーンにスケーリング可能か？
• RQ2 統一されたモデルは、前景オブジェクトと複雑な自然な背景の両方をどれほど効果的に表現できるか？
• RQ3 SCALOR は、多数の移動オブジェクトを含むシーンで、分離可能で解釈可能なオブジェクト要因を学習できるか？
• RQ4 プロポーザル・レジェクション機構は、高オブジェクト数の状況下でスケーラビリティと生成品質を向上させるか？
• RQ5 SCALOR は、数十個の移動オブジェクトを含む現実的な自然シーンに一般化可能か？

主な発見

• SCALOR は、大規模な MNIST および DSprite データセット上で、最大 100 個に近いオブジェクトを含むシーンを成功裏にモデル化し、従来のモデルの能力を著しく上回った。
• 高オブジェクト数の状況下でも、オブジェクト生成と分離性の両面で最先端のパフォーマンスを達成した。
• 教師なしでオブジェクト指向のアプローチで、数10個の移動オブジェクトを含む自然シーンのモデリングに初めて成功した。
• 背景モデルの統合により、特に複雑なシーンにおいて再構成品質と分離性が向上した。
• 空間的並列注意により、オブジェクト数が多くても効率的な推論と学習が可能になった。
• プロポーザル・レジェクション機構により、ごみだらけのシーンにおけるオブジェクトの局在化と表現品質が向上した。