[論文レビュー] SlotDiffusion: Object-Centric Generative Modeling with Diffusion Models

Ziyi Wu, Jingyu Hu+3 more|arXiv (Cornell University)|May 18, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

SlotDiffusionは、潜在拡散モデル（LDM）を活用してスロットから画像へのデコードを改善する、新しいオブジェクト中心の生成モデルを提案する。6つのデータセットにおいて、教師なしオブジェクト発見および高精細な画像・動画生成で最先端の性能を達成した。従来のCNNやTransformerデコーダーに代えて拡散ベースのデコーダーを採用することで、画像のぼやけやオブジェクトの歪みが顕著に軽減され、制御可能な生成と向上した動画予測が可能になった。

ABSTRACT

Object-centric learning aims to represent visual data with a set of object entities (a.k.a. slots), providing structured representations that enable systematic generalization. Leveraging advanced architectures like Transformers, recent approaches have made significant progress in unsupervised object discovery. In addition, slot-based representations hold great potential for generative modeling, such as controllable image generation and object manipulation in image editing. However, current slot-based methods often produce blurry images and distorted objects, exhibiting poor generative modeling capabilities. In this paper, we focus on improving slot-to-image decoding, a crucial aspect for high-quality visual generation. We introduce SlotDiffusion -- an object-centric Latent Diffusion Model (LDM) designed for both image and video data. Thanks to the powerful modeling capacity of LDMs, SlotDiffusion surpasses previous slot models in unsupervised object segmentation and visual generation across six datasets. Furthermore, our learned object features can be utilized by existing object-centric dynamics models, improving video prediction quality and downstream temporal reasoning tasks. Finally, we demonstrate the scalability of SlotDiffusion to unconstrained real-world datasets such as PASCAL VOC and COCO, when integrated with self-supervised pre-trained image encoders.

研究の動機と目的

• 従来のスロットベースのモデルが、弱いデコーディング能力のため、ぼやけた画像や歪んだオブジェクトを生成するという問題を解決する。
• 従来のデコーダーに代えて、強力な潜在拡散モデル（LDM）デコーダーを採用することで、スロットから画像へのデコード品質を向上させる。
• 教師なしオブジェクト発見によって学習されたオブジェクト中心の表現を用いて、高精細で制御可能な画像および動画生成を実現する。
• 自己教師あり事前学習済み画像エンコーダーと統合することで、PASCAL VOC や COCO などの実世界データセットへのスケーラビリティを実証する。
• 最先端のダイナミクスモデルと統合することで、学習済みスロットを時系列的推論や動画予測タスクに活用可能にする。

提案手法

• オブジェクトスロットが潜在画像特徴のノイズ除去プロセスを条件づける潜在拡散モデル（LDM）をデコーダーとして導入する。
• スロットから画像潜在変数を再構築するノイズ除去目的関数を用いてLDMデコーダーを学習し、高精細な画像生成を可能にする。
• 入力画像を潜在表現にトークン化するためのdVAEを用い、効率的で分離可能な表現学習を実現する。
• スロットアテンションを適用して、画像潜在変数からオブジェクト中心の特徴を抽出し、シーンのエントリを表す学習可能なアテンション駆動スロットの集合を生成する。
• 空間ブロードキャスト機構をLDMデコーダーと統合し、空間的位置に注目して、スロットに条件づけられたピクセル単位の出力を生成する。
• 自己教師あり事前学習済み画像エンコーダー（例：MoCo-v3）と組み合わせることで、COCO や PASCAL VOC へのゼロショット適応を可能にし、実世界データへのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在拡散モデル（LDM）デコーダーは、従来のCNNやTransformerデコーダーと比較して、オブジェクト中心モデルの画像生成品質を顕著に向上させることができるか？
• RQ2 SlotDiffusionが学習するオブジェクト中心表現は、動画予測や時系列的推論などの下流タスクをどの程度サポートできるか？
• RQ3 自己教師あり事前学習エンコーダーと組み合わせた場合、COCO や PASCAL VOC などの実世界で制約のないデータセットへの一般化性能はどの程度高いか？
• RQ4 拡散ベースのデコーディングは、オブジェクト属性（例：外観、位置）の分離性を向上させ、画像アーチファクトを低減するか？
• RQ5 SlotDiffusionで学習されたスロットは、既存のオブジェクト中心ダイナミクスモデルと直接統合可能で、動画予測性能を向上させることができるか？

主な発見

• SlotDiffusionは6つのデータセットにおいて教師なしオブジェクトセグメンテーションで最先端の結果を達成し、MOVi-Solidでは69.13%のFG-ARI、CLEVRTexでは68.39%のFG-ARIを記録した。
• CelebA-Maskデータセットでは、FIDが27.72にまで低下し、SAVi（89.63）やSTEVE（78.95）を大きく上回り、優れた画像品質を示した。
• 動画生成においては、MOVi-TexでFVDを704.6（STEVE）から242.2にまで低下させ、時間的整合性と品質の向上を実証した。
• オブジェクト中心ダイナミクスモデルと統合した場合、MOVi-EでFVDを46%、MOVi-Solidで47%まで低減し、動画予測性能が向上した。
• MoCo-v3と組み合わせた場合、COCO や PASCAL VOC への一般化が効果的に実現され、微調整なしで強力なゼロショット性能を達成した。
• LDMベースのデコーダーは、MOVi-TexでLPIPSが0.11にまで低下し、STEVEの0.32やSAViの0.40と比較して、知覚的歪みやぼやけが顕著に低減された。