[論文レビュー] Text to Image Generation with Semantic-Spatial Aware GAN

Kai Hu, Wentong Liao+2 more|arXiv (Cornell University)|Apr 1, 2021

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

本論文は、テキスト記述と生成画像の間の意味的・空間的整合性を向上させるために、新しいテキストから画像を生成するフレームワークである意味的空間認識GAN（SSA-GAN）を提案する。意味的空間認識畳み込みネットワーク（SSACN）を導入し、学習可能なマスク予測器と意味的適応型バッチ正則化を備えることで、テキストエンコーダーを共同最適化したエンド・トゥ・エンド学習が可能となり、COCOおよびCUBデータセットにおいて、インセプションスコアとフリードリッヒ・インセプション・ディスタンスの両面で最先端の性能を達成した。

ABSTRACT

Text-to-image synthesis (T2I) aims to generate photo-realistic images which are semantically consistent with the text descriptions. Existing methods are usually built upon conditional generative adversarial networks (GANs) and initialize an image from noise with sentence embedding, and then refine the features with fine-grained word embedding iteratively. A close inspection of their generated images reveals a major limitation: even though the generated image holistically matches the description, individual image regions or parts of somethings are often not recognizable or consistent with words in the sentence, e.g. "a white crown". To address this problem, we propose a novel framework Semantic-Spatial Aware GAN for synthesizing images from input text. Concretely, we introduce a simple and effective Semantic-Spatial Aware block, which (1) learns semantic-adaptive transformation conditioned on text to effectively fuse text features and image features, and (2) learns a semantic mask in a weakly-supervised way that depends on the current text-image fusion process in order to guide the transformation spatially. Experiments on the challenging COCO and CUB bird datasets demonstrate the advantage of our method over the recent state-of-the-art approaches, regarding both visual fidelity and alignment with input text description.

研究の動機と目的

• 既存のテキストから画像を生成するGANが、特に意味的・空間的整合性を保つ上で、テキストと画像の特徴を効果的に統合する点で限界を示しているのを是正すること。
• 訓練中に固定されたテキストエンコーダーがもたらす性能の劣化を解消し、画像生成器と共同で最適化可能にするために、テキストエンコーダーを最適化可能にすること。
• テキスト記述のグローバルおよびローカルな意味的特徴に条件づけられた空間的に適応的な変換を学習することで、特徴統合を向上させること。
• 弱教師付きのマスク予測メカニズムを構築し、テキスト情報が画像特徴にどの領域に注入されるべきかを動的にガイドすること。
• 標準ベンチマークデータセットCOCOおよびCUBにおいて、画像の質とテキスト・画像の整合性の両面で最先端の結果を達成すること。

提案手法

• テキストに依存するアフィン変換を画像特徴に適用するため、意味的空間的条件付きバッチ正則化（SSCBN）モジュールを統合した意味的空間認識畳み込みネットワーク（SSACN）を提案する。
• 現在の統合状態に基づいて空間的アテンションマップを生成する弱教師付きマスク予測器を導入し、テキスト関連領域に強い特徴変調が行われることを保証する。
• テキストに依存しない領域の画像特徴を保持するため、SSACNに残差ブロックを採用し、特徴変換中に構造的整合性を維持する。
• テキストエンコーダーと画像生成器をエンド・トゥ・エンドで訓練することで、テキストエンコーダーを生成器と共に微調整可能にし、生成に向けたテキスト表現学習を向上させる。
• グローバルおよびローカルな画像特徴と、ワードレベルおよび文レベルのテキスト特徴をアテンション機構を介してマルチスケールで特徴統合する戦略を採用する。
• DAMSM損失を用いて訓練し、コサイン類似度と正規化されたアテンション重みを用いて、画像の部分領域とテキスト語の一致スコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 テキストエンコーダーと画像生成器のエンド・トゥ・エンド訓練は、テキストから画像を生成する際の画像品質と整合性を向上させることができるか？
• RQ2 特徴統合中に空間的に適応的なアテンションマスクを学習することで、テキスト記述と生成画像の間の意味的整合性が向上するか？
• RQ3 テキスト特徴に条件づけられた意味的適応型バッチ正則化層は、標準的またはグローバルなCBN手法と比較して、特徴統合を改善できるか？
• RQ4 標準ベンチマークにおいて、提案手法は最先端のモデルと比較して、視覚的忠実度とテキスト・画像の整合性の両面で優れているか？
• RQ5 弱教師付きマスク予測モジュールは、テキスト情報が関連する画像領域に適切に注入されるのをどの程度ガイドしているか？

主な発見

• SSA-GANはCOCOデータセットで13.8のフリードリッヒ・インセプション・ディスタンス（FID）を達成し、以前の最先端手法を上回った。
• CUB鳥類データセットでは、インセプションスコア148.7を達成し、優れた画像品質と多様性を示した。
• アブレーションスタディの結果、意味的適応型バッチ正則化とマスク予測モジュールの両方が、テキスト・画像の整合性と視覚的品質を顕著に向上させた。
• テキストエンコーダーの共同訓練により、注意マップの改善とDAMSM損失における高い一致スコアが確認され、より良いテキスト表現学習が実現した。
• 入力テキスト記述を変更することで、モデルは効果的な画像編集を可能にし、生成画像が新しい記述に意味的かつ空間的に適応した。
• 提案されたマスク予測機構は、テキストの意味的コンテンツと整合する一貫性のある空間的アテンションマップを生成し、例えば鳥の画像では翼や目を強調した。