[論文レビュー] GENESIS-V2: Inferring Unordered Object Representations without Iterative Refinement

Martin Engelcke, Ōiwi Parker Jones+1 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Neural Network Applications被引用数 16

ひとこと要約

GENESIS-V2 は、反復的最適化や RNN を用いず、確率的スティック・ブレイキング過程（IC-SBP）を用いた微分可能で埋め込みベースのクラスタリング手法を提案する。これにより、順序なしで変数個のオブジェクト表現を推論可能であり、合成データおよび Sketchy や APC のような複雑な実世界データセットにおいて、教師なし画像セグメンテーションおよびオブジェクト中心の生成で最先端の性能を達成する。

ABSTRACT

Advances in unsupervised learning of object-representations have culminated in the development of a broad range of methods for unsupervised object segmentation and interpretable object-centric scene generation. These methods, however, are limited to simulated and real-world datasets with limited visual complexity. Moreover, object representations are often inferred using RNNs which do not scale well to large images or iterative refinement which avoids imposing an unnatural ordering on objects in an image but requires the a priori initialisation of a fixed number of object representations. In contrast to established paradigms, this work proposes an embedding-based approach in which embeddings of pixels are clustered in a differentiable fashion using a stochastic stick-breaking process. Similar to iterative refinement, this clustering procedure also leads to randomly ordered object representations, but without the need of initialising a fixed number of clusters a priori. This is used to develop a new model, GENESIS-v2, which can infer a variable number of object representations without using RNNs or iterative refinement. We show that GENESIS-v2 performs strongly in comparison to recent baselines in terms of unsupervised image segmentation and object-centric scene generation on established synthetic datasets as well as more complex real-world datasets.

研究の動機と目的

• 既存の教師なしオブジェクト中心モデルが RNN や反復的最適化に依存するという限界を是正すること。これらは不自然な順序付けを強いるか、スケーリングに問題を引き起こす。
• 事前に固定されたオブジェクトスロット数を初期化する必要がない、変数個のオブジェクト表現を推論する手法の開発。
• ピクセル埋め込みを注意マスクに微分可能にクラスタリングし、エンド・トゥ・エンドの教師あり訓練を可能にする、教師なしインスタンスセグメンテーションおよびシーン生成のためのアプローチの実現。
• 従来のモデルが前景オブジェクトと背景を分離できないような複雑な実世界データセットにおいて、一般化性と頑健性の向上。
• 合成ベンチマークおよび挑戦的な実世界データセットの両方でアプローチを検証し、セグメンテーションおよび生成の両面で優れた性能を示す。

提案手法

• ピクセル埋め込みから確率的にクラスターシードをサンプリングする、微分可能なインスタンスカラーイング・スティック・ブレイキング過程（IC-SBP）を提案。これによりソフトな注意マスクが形成される。
• IC-SBP を用いて、反復的最適化や RNN を用いず、順序なしで変数サイズのオブジェクト表現の集合にピクセル埋め込みをグループ化する。
• 変分オートエンコーダーの枠組みに IC-SBP を統合し、推論と生成を同時に学習可能とし、オブジェクト中心のシーン生成を可能にする。
• 元の GENESIS モデルにインspired された、オブジェクトスロット間の関係をモデル化する自己回帰的事前分布を採用する。
• 微分可能なクラスタリングを活用し、セグメンテーションプロセスをバックプロパゲーション可能とすることで、後処理を必要としないエンド・トゥ・エンドの訓練を可能にする。
• 教師なしでオブジェクト数や識別子を指定しない状態で、合成データセット（ObjectsRoom, ShapeStacks）および実世界データセット（Sketchy, APC）にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なクラスタリング機構は、反復的最適化や RNN を置き換え、教師なしシーン理解における順序なしオブジェクト表現の学習に有効か？
• RQ2 ピクセル埋め込み上での確率的スティック・ブレイキングプロセスは、事前スロット初期化を必要とせず、変数個で分離可能なオブジェクト表現を可能にするか？
• RQ3 本手法は、視覚的・構造的変動が著しい複雑な実世界画像にどれほど一般化できるか？
• RQ4 本手法は、教師なしでオブジェクト数の指定なしに、画像セグメンテーションおよびオブジェクト中心のシーン生成の両方で競争力のある性能を達成できるか？
• RQ5 再帰的処理の欠如が、訓練の安定性を向上させ、単一のオブジェクトスロットへの崩壊を防ぐか？

主な発見

• APC データセットにおいて、GENESIS-V2 は最高の ARI（0.55）と MSC（0.67）スコアを達成し、すべてのベースライン（スロットアテンションや genesis を含む）を上回った。
• Sketchy データセットでは、GENESIS-V2 が FID スコア（208.1）を最低に抑え、他のモデルと比較してオブジェクト中心の画像生成におけるサンプル品質が優れていた。
• 評価対象のモデルの中で、GENESIS-V2 のみが挑戦的な APC データセットで前景オブジェクトと背景を明確に分離できた。
• 定性的な結果から、GENESIS-V2 は Sketchy データセットで個々のオブジェクトおよびロボットグリッパーを明確に識別できており、スロットアテンションよりも複雑な実世界シーンをよりよく処理していた。
• 視覚的複雑さに対して頑健であり、実世界データへの一般化が可能であるが、一部のオブジェクトで過剰セグメンテーションが発生する傾向があり、改善の余地があることが示された。
• GENESIS-V2 は合成ベンチマーク（ObjectsRoom, ShapeStacks）でも優れた性能を示しており、制御されたオブジェクト中心の環境における有効性が裏付けられた。