[論文レビュー] A Survey of Diffusion Based Image Generation Models: Issues and Their Solutions

Tianyi Zhang, Zheng Wang+3 more|arXiv (Cornell University)|Aug 25, 2023

FinTech, Crowdfunding, Digital Finance被引用数 8

ひとこと要約

この論文は拡散ベースの画像生成を分析し、主要な課題（複数オブジェクト生成、希少概念、品質）を特定し、それらに対処する解決策と技術を調査します。

ABSTRACT

Recently, there has been significant progress in the development of large models. Following the success of ChatGPT, numerous language models have been introduced, demonstrating remarkable performance. Similar advancements have also been observed in image generation models, such as Google's Imagen model, OpenAI's DALL-E 2, and stable diffusion models, which have exhibited impressive capabilities in generating images. However, similar to large language models, these models still encounter unresolved challenges. Fortunately, the availability of open-source stable diffusion models and their underlying mathematical principles has enabled the academic community to extensively analyze the performance of current image generation models and make improvements based on this stable diffusion framework. This survey aims to examine the existing issues and the current solutions pertaining to image generation models.

研究の動機と目的

• 拡散ベースの画像生成における主な課題（複数オブジェクトレンダリング、希少概念、品質）を特定し、対象解決策を動機づける。
• 画像生成において直面する具体的な問題によって拡散モデルを整理する。
• 生成品質と制御を改善するコア技術、アーキテクチャ、トレーニング/推論戦略を要約する。
• 画像生成アプリケーションに焦点を当て、従来の調査との差別化を強調し、実務的な制約と解決策を示す。

提案手法

• 拡散モデルの基礎（前方/後方プロセス、DDPM、分類器なしガイダンス（CFG））をレビューする。
• 注意機構とクロスアテンション機構を備えたノイズ予測U-Netと、それらが条件付けに果たす役割を議論する。
• 境界ボックスやセグメンテーションマップなどの条件付けとレイアウト統合手法、およびControlNetとその派生のプラグイン型アーキテクチャを要約する。
• 希少・未見概念の扱いと個別化に対する取得ベースおよび主体主導の生成アプローチを説明する。
• テキストエンコーダの改善、専門家の混成（mixture-of-experts）、プロンプト/サンプリング技術に焦点を当てた品質向上戦略を概説する。

Figure 1. The directed graphical model considered in DDPM (Ho et al . , 2020 ) .

実験結果

リサーチクエスチョン

• RQ1 実際の拡散ベースの画像生成の主な制限は何か？
• RQ2 複数オブジェクト生成を改善するためのレイアウトと注意制御を組み込む技術は何か？
• RQ3 取得と主体主導のアプローチは希少/未見概念の生成にどう役立つのか？
• RQ4 単なるモデル拡大を超えた生成品質を最も効果的に向上させる戦略は何か？
• RQ5 異なるテキストエンコーダは拡散ベースの画像生成品質にどのような影響を与えるか？

主な発見

• レイアウトと注意機構を指向した方法（例：ControlNet、GLIGEN、Attend-and-Excite）は複数オブジェクトのレンダリングとレイアウト適合性を改善する。
• 取得ベースおよび主体主導のアプローチは希少/未見概念の生成と個別化を、微調整の程度を変えつつ可能にする。
• テキストエンコーダの改善（例：T5-XXL、CLIPベース vs 純粋な言語モデル）と混成エンコーダ構成は、大規模U-Netよりも品質向上をもたらすことがある。
• classifier-free guidanceは主要な拡散モデル全体で基礎的な条件付けアプローチとして依然根幹をなす。
• クロスアテンションマップの修正や潜在空間の最適化技術は、大規模なモデル再訓練を要さずに画像品質を高めることができる。

Figure 2. Failed cases for multiple objects generation.