[論文レビュー] Compositional Visual Generation with Composable Diffusion Models

Nan Liu, Shuang Li+3 more|arXiv (Cornell University)|Jun 3, 2022

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本論文では、個々の拡散モデルをエネルギーに基づくモデル（EBM）として解釈することで、推論時に複数のモデルを明示的に組み合わせることで、複雑で構造的な画像を生成できる、合成可能な拡散モデルを提案する。論理積（AND）と論理否定（NOT）の演算子を導入することで、トレーニング時に見られなかったオブジェクト、関係、属性の新しい組み合わせに対してもゼロショット一般化を達成し、CLEVRデータセットにおける3オブジェクトの構成タスクでベースラインを24.02%上回る性能を発揮した。画像品質と忠実度の両面で優れた結果を示した。

ABSTRACT

Large text-guided diffusion models, such as DALLE-2, are able to generate stunning photorealistic images given natural language descriptions. While such models are highly flexible, they struggle to understand the composition of certain concepts, such as confusing the attributes of different objects or relations between objects. In this paper, we propose an alternative structured approach for compositional generation using diffusion models. An image is generated by composing a set of diffusion models, with each of them modeling a certain component of the image. To do this, we interpret diffusion models as energy-based models in which the data distributions defined by the energy functions may be explicitly combined. The proposed method can generate scenes at test time that are substantially more complex than those seen in training, composing sentence descriptions, object relations, human facial attributes, and even generalizing to new combinations that are rarely seen in the real world. We further illustrate how our approach may be used to compose pre-trained text-guided diffusion models and generate photorealistic images containing all the details described in the input descriptions, including the binding of certain object attributes that have been shown difficult for DALLE-2. These results point to the effectiveness of the proposed method in promoting structured generalization for visual generation. Project page: https://energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/

研究の動機と目的

• テキスト誘導型拡散モデルが、オブジェクトの関係や属性の束縛といった複雑で構造的な記述を理解する点での既存手法の限界を解消すること。
• トレーニング時に見られなかった概念の組み合わせを含む、新しい組み合わせの概念をゼロショットで画像生成できることを実現すること。
• 追加のトレーニングを必要とせず、推論時に明示的な構成演算子を用いて事前学習済みの拡散モデルを合成することのできる手法を開発すること。
• 複数のオブジェクト、関係、属性を含む複雑なシーンの生成において、一般化性能と画像品質を向上させること。
• 拡散モデルをエネルギーに基づくモデルとして解釈することで、視覚生成における構造的でスケーラブルな合成を実現する有効性を示すこと。

提案手法

• 訓練済みの拡散モデルをエネルギーに基づくモデル（EBM）として解釈し、エネルギー関数の組み合わせによって明示的な合成を可能にする。
• 推論時に拡散モデルを組み合わせるための2つの構成演算子を導入：論理積（論理的AND）と論理否定（論理的NOT）。
• エネルギーに基づく定式化を用いて、それぞれが特定のコンポONENT（例：オブジェクト、属性、関係）を担当する複数の拡散モデルのエネルギー関数を加法的に組み合わせる。
• 組み合わせたエネルギー関数を用いて、ノイズ除去の拡散サンプリングを実行し、指定されたすべてのコンポONENTを反映した画像を生成する。
• 勾配フリーでエンドツーエンドの画像生成を可能にする微分可能サンプリングプロセスを採用する。
• GLIDE や Stable Diffusion といった事前学習済みモデルを基本コンponentとして活用し、ファインチューニングなしでゼロショットの合成を実現する。

実験結果

リサーチクエスチョン

• RQ1 構造的で微分可能なフレームワークを用いて、推論時に拡散モデルを合成し、複雑な視覚的構成を生成できるか？
• RQ2 提案手法は、トレーニング時に見られなかったオブジェクト、関係、属性の組み合わせに対しても一般化できるか？
• RQ3 構造的な視覚的生成タスクにおいて、組み合わせた拡散モデルの性能は、既存のベースラインと比較して正確性と画像品質の点で優れているか？
• RQ4 構成的アプローチの失敗モードは何か？また、それらは事前学習済みベースモデルの限界とどのように関係しているか？
• RQ5 本手法は、属性をオブジェクトに正しく束縛し、生成画像における関係的構造を適切に保持できるか？

主な発見

• 本手法は、CLEVRデータセットにおける3オブジェクトの配置指定タスクで、最も優れたベースラインを24.02%上回る精度を達成した。
• オブジェクト関係の構成タスクにおいて、StyleGAN2、LACE、GLIDE、EBMを上回る二値分類精度を示したが、EBMよりも優れたFIDスコアを維持した。
• EBMに比べて画像品質が高く、より明確なオブジェクト境界と向上したフォトリアルな質を発揮したが、EBMは関係理解の精度が優れていた。
• DALL-E 2 や GLIDE は、高品質な画像を生成したが、オブジェクト関係を正しく理解できず、構成的推論における主要な限界を示した。
• 失敗事例の主な原因は、事前学習済みモデルが特定の概念（例：'person'）を理解できていないこと、属性を誤って解釈したこと（例：'red bear' と 'bear in a red forest' の混同）、中央部の画像領域での構成的崩壊（compositional collapse）に起因していた。
• 本手法は、言語、オブジェクト、関係、顔貌属性のあらゆる側面で、トレーニング時に見られなかった概念の組み合わせに対しても、効果的なゼロショット一般化を示した。