[論文レビュー] Implementing and Experimenting with Diffusion Models for Text-to-Image Generation

Robin Zbinden|arXiv (Cornell University)|Sep 22, 2022

Computational Physics and Python Applications被引用数 4

ひとこと要約

本論文は、DALL-E 2をインspiredした軽量で公開可能なテキストから画像への拡散モデルの実装を提示しており、大幅に削減された計算コストで高品質な画像生成を達成している。画像品質と整合性を向上させるために、新たな画像ガイドランス手法を導入しており、リソースが限られた環境でも効果的な実験が可能である。また、先行研究よりも深いアブレーションスタディと分析を提供している。

ABSTRACT

Taking advantage of the many recent advances in deep learning, text-to-image generative models currently have the merit of attracting the general public attention. Two of these models, DALL-E 2 and Imagen, have demonstrated that highly photorealistic images could be generated from a simple textual description of an image. Based on a novel approach for image generation called diffusion models, text-to-image models enable the production of many different types of high resolution images, where human imagination is the only limit. However, these models require exceptionally large amounts of computational resources to train, as well as handling huge datasets collected from the internet. In addition, neither the codebase nor the models have been released. It consequently prevents the AI community from experimenting with these cutting-edge models, making the reproduction of their results complicated, if not impossible. In this thesis, we aim to contribute by firstly reviewing the different approaches and techniques used by these models, and then by proposing our own implementation of a text-to-image model. Highly based on DALL-E 2, we introduce several slight modifications to tackle the high computational cost induced. We thus have the opportunity to experiment in order to understand what these models are capable of, especially in a low resource regime. In particular, we provide additional and analyses deeper than the ones performed by the authors of DALL-E 2, including ablation studies. Besides, diffusion models use so-called guidance methods to help the generating process. We introduce a new guidance method which can be used in conjunction with other guidance methods to improve image quality. Finally, the images generated by our model are of reasonably good quality, without having to sustain the significant training costs of state-of-the-art text-to-image models.

研究の動機と目的

• SOTAのテキストから画像へのモデル（例：DALL-E 2 や Imagen）が計算コストが高く、かつオープンソースでないという点を解決すること。
• 従来のモデルと比較して、訓練コストを大幅に削減した、機能的でトレーニング可能な拡散原理に基づくテキストから画像へのモデルを実装すること。
• CLIP埋め込みの挙動を詳細に分析し、テキストから画像への生成におけるアブレーションスタディを実施すること。
• 画像品質とテキスト・画像の整合性を向上させるために、新たな画像ガイドランス手法を導入・評価すること。
• SOTAモデルが要求する膨大な計算リソースがなくても、高品質な画像生成が可能であることを示すこと。

提案手法

• 偏りが少なく計算負荷が低いように選別されたデータセットでトレーニングされた、拡散ベースの画像デコーダーを使用している。
• DALL-E 2で使われた複雑な事前分布とは異なり、テキスト埋め込みを画像潜在変数にマップする単純なMLPとしてCLIPトランスレーターを実装している。
• トレーニングパイプラインは、CLIPのテキストおよび画像エンコーダーを活用し、対照的損失を用いてテキストプロンプトと画像潜在変数を整合させる。
• 新規の画像ガイドランス手法を導入し、参照画像埋め込みを条件として拡散プロセスに組み込むことで、忠実度と整合性を向上させている。
• 画像デコーダー、CLIPトランスレーター、アップサンプラーの各コンポONENTについて、アブレーションスタディを通じてパイプライン全体を評価している。
• 実験では、テキストおよび画像埋め込みにおけるベクトル算術操作を含む、CLIP埋め込みの意味的性質の定性的・定量的分析を実施している。

実験結果

リサーチクエスチョン

• RQ1 SOTAモデル（例：DALL-E 2 や Imagen）が要求する膨大な計算リソースを必要とせず、大幅に計算コストを削減した、公開可能な軽量なテキストから画像への拡散モデルを実装可能か？
• RQ2 CLIPトランスレーター、画像デコーダー、アップサンプラーといった異なるコンポーネントが、生成画像の品質と整合性にどのように影響を与えるか？
• RQ3 標準的なガイドランス手法と比較して、提案された画像ガイドランス手法が画像品質とテキスト・画像の整合性に与える影響は何か？
• RQ4 CLIP埋め込みは、テキストから画像への生成において意味的なベクトル算術操作を可能にするような意味的規則性をどれほど持っているか？
• RQ5 モデルおよびデータセットのスケーリングは性能にどのように影響を与え、品質と計算コストの間にはどのようなトレードオフがあるか？

主な発見

• 提案されたモデルは、DALL-E 2 や Imagen といったSOTAモデルが要求する膨大な計算リソースがなくても、妥当な高品質な画像を生成可能である。
• CLIPトランスレーターに単純なMLPを採用したことで、DALL-E 2 の事前分布と比較して計算コストを大幅に削減したが、性能に劣化は見られなかった。
• 提案された画像ガイドランス手法は、他のガイドランス技術と併用することで、画像品質の向上とテキスト・画像の整合性の強化に寄与している。
• CLIP埋め込みは強い意味的規則性を示しており、テキストおよび視覚的コンセプトの内容操作や合成を可能にする意味的なベクトル算術操作が可能である。
• アブレーションスタディの結果、特定の画像タイプは生成が容易であることが判明し、アップサンプラー や CLIP翻訳のコンポーネント特化型の改善が、画像品質の明確な向上をもたらすことが分かった。
• モデルおよびデータセットのスケーリングにより性能は向上するが、その恩恵は計算コストの増加によって相殺されることが明らかになった。これは、リソース制限下の環境において重要なトレードオフである。