[論文レビュー] Object-Centric Slot Diffusion

Jindong Jiang, Feiqi Deng+2 more|arXiv (Cornell University)|Mar 20, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、従来のスロットデコーダーに代わり、条件付き潜在拡散モデルを採用する、初めてのオブジェクト中心学習モデルであるLatent Slot Diffusion (LSD) を提案する。これにより、テキストの教師なし条件下でも、非教師付きの構成的画像生成が可能になる。LSDは、特に複雑なシーンにおいて、最先端のトランスフォーマー基盤デコーダーを著しく上回り、FFHQにおける高精細な顔生成や、非教師付きの概念ベース画像編集といった、新たな応用を可能にする。

ABSTRACT

The recent success of transformer-based image generative models in object-centric learning highlights the importance of powerful image generators for handling complex scenes. However, despite the high expressiveness of diffusion models in image generation, their integration into object-centric learning remains largely unexplored in this domain. In this paper, we explore the feasibility and potential of integrating diffusion models into object-centric learning and investigate the pros and cons of this approach. We introduce Latent Slot Diffusion (LSD), a novel model that serves dual purposes: it is the first object-centric learning model to replace conventional slot decoders with a latent diffusion model conditioned on object slots, and it is also the first unsupervised compositional conditional diffusion model that operates without the need for supervised annotations like text. Through experiments on various object-centric tasks, including the first application of the FFHQ dataset in this field, we demonstrate that LSD significantly outperforms state-of-the-art transformer-based decoders, particularly in more complex scenes, and exhibits superior unsupervised compositional generation quality. In addition, we conduct a preliminary investigation into the integration of pre-trained diffusion models in LSD and demonstrate its effectiveness in real-world image segmentation and generation. Project page is available at https://latentslotdiffusion.github.io

研究の動機と目的

• 拡散モデルをオブジェクト中心学習に統合する可能性を検討すること。この分野では、それらのモデルは依然としてほとんど未開拓の領域である。
• 従来のスロットデコーダーを、複雑なシーンにおける画像生成品質を向上させるための強力な条件付き拡散生成器に置き換えるモデルを開発すること。
• 学習済みオブジェクト中心スロットから視覚的プロンプトを構築することで、テキストアノテーションの必要性を排除し、非教師付きの構成的条件付き生成を可能にすること。
• LSD の性能を、非教師付きセグメンテーション、属性予測、画像編集など、多様なタスクにおいて評価すること。特に、FFHQ などの高品質データセットにおいて評価する。
• 事前学習済みオートエンコーダーと拡散モデルの統合により、現実世界の画像生成とセグメンテーションの質を向上させること。

提案手法

• LSD は入力画像からオブジェクト中心スロットを抽出する Slot Attention を使用し、これらが潜在拡散モデルの条件入力として機能する。
• モデルは、画像の潜在表現にノイズスケジュールを適用したのを逆に復元するように学習する、ノイズ除去 U-Net アーキテクチャを採用する。この学習は、オブジェクトスロットを条件として行う。
• 画像の潜在表現は事前学習済みオートエンコーダーにより得られ、訓練中にノイズが追加され、ノイズ除去学習が可能になる。
• 異なる画像からのスロットを組み合わせることで、スロットを用いた構成的生成が可能になる。抽出されたスロットから k-means クラスタリングを用いて、視覚的コンセプトライブラリを構築する。
• スロットベースの編集は、画像復元時に特定のスロットを意図的に含めるまたは除外することで実現され、セグメンテーションマスクは注釈重みから導出される。
• オブジェクトスロットを視覚的プロンプトとして扱うことで、テキストアノテーションの必要性を回避し、非教師付きの条件付き生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、複雑なシーンにおける画像生成の向上を図る上で、オブジェクト中心学習に効果的に統合可能か？
• RQ2 従来のスロットデコーダーを潜在拡散モデルに置き換えることで、自己回帰的トランスフォーマーと比較して、より優れた非教師付き構成的生成が達成できるか？
• RQ3 視覚的スロットのみを条件として用いることで、テキスト記述などの教師ありアノテーションが一切不要な状態で、高精細な画像生成が可能か？
• RQ4 LSD は、従来のオブジェクト中心モデルが困難としていた、高解像度で複雑なデータセット（例：FFHQ）において、どのように性能を発揮するか？
• RQ5 LSD は単純なシーンにおいてどのような限界を示し、それらはどのように緩和できるか？

主な発見

• LSD は、複雑なシーンや高解像度データセット（例：FFHQ）において、最先端のトランスフォーマー基盤デコーダーを著しく上回る画像再構成および生成性能を達成する。
• 本モデルは、オブジェクト中心学習における FFHQ データセットの初の応用を実現し、分離された属性を有する高精細で詳細な顔画像を生成可能にした。
• LSD は、異なる画像からのスロットを組み合わせることで、属性の一貫性を保ちつつ、整合性のある画像合成を可能にする、優れた非教師付き構成的生成品質を達成する。
• 事前学習済みオートエンコーダーの使用により、画像のシャープネスと詳細な忠実度が向上するが、弱いデコーダーと組み合わせると、形状やテクスチャにアーティファクトが生じる可能性がある。
• スロットベースの編集（例：顔の交換や背景の入れ替え）は、セグメンテーションが正確な場合に有効であるが、オブジェクトが複数のスロットに分かれている場合には性能が低下する。
• CLEVRTex のような非常に単純なシーンでは、LSD に過学習の問題が見られる。これは、構造的複雑性が少ないシーンには、高容量のデコーダーが不適切である可能性を示唆している。