[論文レビュー] Training-free Diffusion Model Adaptation for Variable-Sized Text-to-Image Synthesis

Zhiyu Jin, Xuli Shen+2 more|arXiv (Cornell University)|Jun 14, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文では、テキストから画像への拡散モデルを、再訓練を必要とせずにさまざまなサイズの画像生成に適応するための訓練フリーな手法を提案する。新しいスケーリング要因を導入することで、さまざまな解像度間で注目力のエントロピーが安定化される。トークン数と注目力エントロピーの関係を分析することにより、低解像度では不完全なオブジェクト表現が生じるのを軽減し、高解像度では繰り返し・不規則なパターンが生じるのを抑制する。再訓練なしに、画像品質とテキストの整合性が著しく向上する。

ABSTRACT

Diffusion models (DMs) have recently gained attention with state-of-the-art performance in text-to-image synthesis. Abiding by the tradition in deep learning, DMs are trained and evaluated on the images with fixed sizes. However, users are demanding for various images with specific sizes and various aspect ratio. This paper focuses on adapting text-to-image diffusion models to handle such variety while maintaining visual fidelity. First we observe that, during the synthesis, lower resolution images suffer from incomplete object portrayal, while higher resolution images exhibit repetitively disordered presentation. Next, we establish a statistical relationship indicating that attention entropy changes with token quantity, suggesting that models aggregate spatial information in proportion to image resolution. The subsequent interpretation on our observations is that objects are incompletely depicted due to limited spatial information for low resolutions, while repetitively disorganized presentation arises from redundant spatial information for high resolutions. From this perspective, we propose a scaling factor to alleviate the change of attention entropy and mitigate the defective pattern observed. Extensive experimental results validate the efficacy of the proposed scaling factor, enabling models to achieve better visual effects, image quality, and text alignment. Notably, these improvements are achieved without additional training or fine-tuning techniques.

研究の動機と目的

• 事前学習済みの拡散モデルを用いて、多様な解像度とアスペクト比で高忠実度の画像を生成する課題に対処すること。
• 固定サイズでの学習の制限を克服し、低解像度および高解像度の両方で効果的な合成を可能にすること。
• 2つの明確な失敗パターンを軽減すること：低解像度ではオブジェクトの不完全な表現、高解像度では繰り返し・不規則なオブジェクト生成。
• さまざまな解像度間で、テキストプロンプトと生成画像の意味的整合性を向上させること。
• 追加の訓練やファインチューニングなしに、既存のオープンソースモデルと互換性を持つ形でこれらの改善を達成すること。

提案手法

• 解像度に応じて特徴の空間的集約を調整するための注目力層用のスケーリング要因を提案する。
• トークン数（解像度依存）と注目力マップのエントロピーとの間の統計的関係を確立する。
• 低解像度の欠陥は、注目力が狭いため空間的情報が不十分であることによって生じると解釈し、高解像度の欠陥は、注目力が広すぎることによる冗長な空間的集約が原因であると解釈する。
• さまざまなシーケンス長（トークン数）における注目力エントロピーの安定化を図るため、スケーリング要因を設計する。
• 推論時のみにスケーリング要因を適用し、元のスケーリングを置き換える。モデルの再訓練は不要。
• 224²、512²、768²を含む、多様な解像度とアスペクト比における定性的および定量的分析を通じて、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルにおける注目力エントロピーは、画像の解像度にどのように変化するのか。これは、さまざまな解像度における視覚的品質にどのような含意を持つのか。
• RQ2 なぜ低解像度の画像ではオブジェクトの不完全な表現が生じるのに対し、高解像度の画像では繰り返し・不規則なパターンが生じるのか。
• RQ3 解像度に依存しないスケーリング要因は、注目力エントロピーを安定化させ、変動するサイズの合成において視覚的忠実度を向上させることができるか。
• RQ4 アップサンプリングやスーパーレゾリューション手法と比較して、本手法は意味的豊かさと視覚的整合性の点でどのように差をつけるか。
• RQ5 この訓練フリーなアプローチは、ファインチューニングなしに、どの程度画像品質とテキストの整合性を向上させることができるか。

主な発見

• 提案されたスケーリング要因は、解像度をまたいで注目力エントロピーのフラクチュエーションを著しく低減し、モデルの空間的集約行動を安定化させた。
• 224²解像度では、スケーリング要因により注目力エントロピーが上昇し、オブジェクトの完全性が向上し、不足表現が減少した。
• 768²解像度では、スケーリング要因により注目力エントロピーが低下し、繰り返し・不規則なオブジェクト生成が緩和された。
• 224²、512²、768²を含む、すべてのテスト解像度で、優れた画像品質とテキスト整合性スコアが達成された。
• 定性的な結果では、アップサンプリングやスーパーレゾリューションのベースラインと比較して、意味的コンテンツが豊かで、より自然な画像構造が得られた。
• 低解像度では、時間的・メモリ的コストが低く抑えられ、リソース制限のあるデバイスでも効率的な推論が可能になった。