[論文レビュー] Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks

Qingrong Cheng, Keyu Wen+1 more|arXiv (Cornell University)|Aug 20, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、生成画像をテキスト記述と実画像の両方に一致させる二重ビジョン・ランゲージ一致メカニズムを用いた、テキストから画像を合成する新しいフレームワーク、VLMGAN* を提案する。この手法により、画像の現実性と意味的整合性の両方が向上する。GANベースの生成器にビジョン・ランゲージ一致を統合することで、CUBおよびMSCOCOデータセットで最先端の性能を達成し、テキストと画像の一致を向上させたことを検証する新しい指標VLMSを導入している。

ABSTRACT

Text-to-image synthesis aims to generate a photo-realistic and semantic consistent image from a specific text description. The images synthesized by off-the-shelf models usually contain limited components compared with the corresponding image and text description, which decreases the image quality and the textual-visual consistency. To address this issue, we propose a novel Vision-Language Matching strategy for text-to-image synthesis, named VLMGAN*, which introduces a dual vision-language matching mechanism to strengthen the image quality and semantic consistency. The dual vision-language matching mechanism considers textual-visual matching between the generated image and the corresponding text description, and visual-visual consistent constraints between the synthesized image and the real image. Given a specific text description, VLMGAN* firstly encodes it into textual features and then feeds them to a dual vision-language matching-based generative model to synthesize a photo-realistic and textual semantic consistent image. Besides, the popular evaluation metrics for text-to-image synthesis are borrowed from simple image generation, which mainly evaluates the reality and diversity of the synthesized images. Therefore, we introduce a metric named Vision-Language Matching Score (VLMS) to evaluate the performance of text-to-image synthesis which can consider both the image quality and the semantic consistency between synthesized image and the description. The proposed dual multi-level vision-language matching strategy can be applied to other text-to-image synthesis methods. We implement this strategy on two popular baselines, which are marked with ${ ext{VLMGAN}_{+ ext{AttnGAN}}}$ and ${ ext{VLMGAN}_{+ ext{DFGAN}}}$. The experimental results on two widely-used datasets show that the model achieves significant improvements over other state-of-the-art methods.

研究の動機と目的

• テキスト記述の詳細な内容と一致しないにもかかわらず、高精細な画像が生成されるという、テキストから画像を合成する際の意味的整合性の欠如という課題に対処する。
• テキストから画像への一致と、生成画像と実画像の間の視覚的一致を同時に強制する二重の多段階ビジョン・ランゲージ一致メカニズムを導入することで、画像品質とテキスト・ビジュアルの一致を向上させる。
• 従来のGAN指標（FID や IS など）では捉えきれない、人間の認知に近い画像とテキストの一致を反映できるように、新しい評価指標「ビジョン・ランゲージ一致スコア（VLMS）」を提案する。
• 多様なテキスト記述や属性の変化に対しても、提案手法の汎用性とロバスト性を実証する。
• 既存のテキストから画像を合成するGANベースのベースラインに、アーキテクチャの大幅な見直しを施すことなく、プラグインとして二重一致戦略を適用可能にする。

提案手法

• 生成画像とテキスト記述の間のテキスト・ビジュアル一致、および生成画像と実画像の間のビジュアル・ビジュアル一致を同時に強制する二重ビジョン・ランゲージ一致メカニズムを導入する。
• 画像とテキストから多段階の局所的特徴を抽出できる事前学習済みのビジョンおよびテキストエンコーダーを用い、領域レベルでの細分化された一致を可能にする。
• テキスト埋め込みに条件付けられた生成器ネットワークを設計し、敵対的損失と二重一致損失を最適化することで、画像を合成する。
• 二つの主要な損失成分を定式化する：生成画像と実画像の一致を図る「ビジュアル・ビジュアル一致（VVM）損失」と、生成画像とテキスト記述の一致を図る「ビジュアル・ランゲージ一致（VLM）損失」。
• 敵対的損失、VVM損失、VLM損失を含む組み合わせ損失関数を用いて、エンド・トゥ・エンドでモデルを訓練する。生成器は、これらの三つの成分を同時に最小化するように最適化される。
• 画像とテキストの埋め込みを事前学習済みのCLIPに類似したモデルを用いて比較することで、画像品質と意味的整合性の両方を評価する新しい評価指標「ビジョン・ランゲージ一致スコア（VLMS）」を提案する。

実験結果

リサーチクエスチョン

• RQ1 二重ビジョン・ランゲージ一致メカニズムは、生成画像と対応するテキスト記述の間の意味的整合性を顕著に向上させることができるか？
• RQ2 生成画像と実画像の間のビジュアル・ビジュアル一致を強制することで、テキストから画像を合成する際の画像品質と現実性がさらに向上するか？
• RQ3 提案されたビジョン・ランゲージ一致スコア（VLMS）は、FID や IS といった従来のGAN指標よりも、人間の認知に近い信頼性の高い評価指標として機能するか？
• RQ4 二重一致戦略は、既存の最先端のテキストから画像を合成するGANモデルにどの程度汎用的に適用可能か？
• RQ5 テキスト記述の重要な属性が変更された場合、または同じ記述から複数の画像を生成する場合、この手法はどの程度ロバストか？

主な発見

• 提案された ${\text{VLMGAN}_{+\text{AttnGAN}}}$ モデルは、MSCOCOデータセットで最高のVLMSスコアを達成し、ベースラインのAttnGANおよび他のSOTA手法を上回った。
• ${\text{VLMGAN}_{+\text{DFGAN}}}$ モデルは、CUBデータセットで最高のVLMSスコアを達成し、細粒度な画像・テキスト一致において優れた性能を示した。
• VLMS指標は人間の認知と強い相関を示した：視覚的品質が低い、または意味的整合性に欠ける画像は、顕著に低いスコアを示した。
• 同じテキスト記述から複数回生成しても、姿勢やスタイルの変化があっても、鳥の色や嘴の種類といった属性が一貫して保持された高品質な出力を得られた。
• 属性の変更に対しても、この手法は良好に一般化された：テキスト記述内の重要な属性が変更されても、生成画像がそれに適切に対応しており、ロバスト性が確認された。
• 訓練損失の分析から、VVM損失とVLM損失の両方が安定して収束しており、特にVVM損失が顕著に減少していることから、視覚的・視覚的一致学習が効果的に行われていることが示された。