[論文レビュー] Attribute-Centric Compositional Text-to-Image Generation

Yuren Cong, Martin Renqiang Min+3 more|arXiv (Cornell University)|Jan 4, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、属性中心の特徴増幅と画像なし訓練フレームワークを用いることで、希少な属性組み合わせに対する一般化性能を向上させる、新しい属性中心のフレームワークACTIGを提案する。属性中心の対照的損失を導入することで、過剰に代表される属性への過学習を低減し、CelebA-HQおよびCUBにおいて、画像の質とテキスト・画像の一貫性の面で最先端の性能を達成する。

ABSTRACT

Despite the recent impressive breakthroughs in text-to-image generation, generative models have difficulty in capturing the data distribution of underrepresented attribute compositions while over-memorizing overrepresented attribute compositions, which raises public concerns about their robustness and fairness. To tackle this challenge, we propose ACTIG, an attribute-centric compositional text-to-image generation framework. We present an attribute-centric feature augmentation and a novel image-free training scheme, which greatly improves model's ability to generate images with underrepresented attributes. We further propose an attribute-centric contrastive loss to avoid overfitting to overrepresented attribute compositions. We validate our framework on the CelebA-HQ and CUB datasets. Extensive experiments show that the compositional generalization of ACTIG is outstanding, and our framework outperforms previous works in terms of image quality and text-image consistency.

研究の動機と目的

• 希少な属性組み合わせに対するテキストから画像への生成モデルの一般化性能の低さという課題に対処すること。
• 訓練データにおける過剰に代表される属性組み合わせへの過学習を軽減すること。
• よりバランスの取れた属性特徴分布を学習することで、モデルの耐性と公平性を向上させること。
• テキストプロンプトにおける希少または未観測の属性組み合わせに条件付けた高精細な画像生成を可能にすること。
• 希少な属性組み合わせのための実画像データに依存しない訓練パラダイムの開発

提案手法

• CLIPエンコーダーを用いてテキスト特徴を生成し、テキストから画像へのマッピングネットワークを通じてそれらを画像特徴にマップすることで、属性中心の特徴増幅を導入する。
• 実画像データを希少な組み合わせのための訓練に使用しない、テキスト特徴と合成画像特徴のみを用いた画像なし訓練スキームを提案する。
• 属性表現を分離し、頻度の高い属性組み合わせへの過剰記憶を防ぐために、属性中心の対照的損失を設計する。
• 完全に教師あり訓練と画像なし訓練を交互に実行することで、実データからの学習と希少な組み合わせの学習のバランスを取る。
• CLIPベースのテキストエンコーダーと学習可能なマッピングネットワークを用い、増幅されたテキスト特徴から画像特徴を生成する。
• 対照的損失の訓練のため、文字列照合（CelebA-HQ）と従属構文解析（CUB）を用いた属性抽出を行う。

実験結果

リサーチクエスチョン

• RQ1 属性中心の訓練パラダイムは、テキストから画像への生成における希少な属性組み合わせへの一般化を改善できるか？
• RQ2 合成画像特徴を用いた画像なし訓練は、希少な属性組み合わせにおけるデータの不足を補うのにどの程度効果的か？
• RQ3 属性中心の対照的損失は、過剰に代表される属性組み合わせへの過学習をどの程度低減できるか？
• RQ4 提案されたフレームワークは、希少な属性組み合わせに対して高品質な画像を生成しながら、テキストとの整合性を維持できるか？
• RQ5 ロバストネス、公平性、構成的一般化の観点から、ACTIGは既存の手法と比較してどの程度優れているか？

主な発見

• ACTIGは、CelebA-HQおよびCUBの両データセットにおいて、画像の質とテキスト・画像の一貫性の面で最先端の性能を達成する。
• モデルは訓練中に観測されなかった属性組み合わせに対しても高精細な画像を生成でき、強力な構成的一般化能力を示している。
• ユーザースタディーの結果、StyleT2I や Lafite といった先行モデルと比較して、ACTIGは画像の質と入力テキストとの整合性の両面で優れている。
• 画像なし訓練スキームは、実画像に依存せずに、希少な属性組み合わせの生成を効果的に改善している。
• 属性中心の対照的損失は、頻度の高い属性組み合わせへの過学習を効果的に低減し、モデルの公平性を向上させた。
• 定性的な結果から、ACTIGは特に希少な属性組み合わせに対して、既存の手法よりも現実的で意味的に整合性の取れた画像を生成していることが確認された。