[論文レビュー] Text-Adaptive Generative Adversarial Networks: Manipulating Images with Natural Language

Seonghyeon Nam, Yunji Kim+1 more|arXiv (Cornell University)|Oct 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 107

ひとこと要約

TAGANは、単語レベルの局所判別器を備えたテキスト適応型判別器を用いて、テキストで指定された画像属性を操作しつつ、テキストと関係のない内容を保持し、CUBおよびOxford-102でベースラインを上回る。

ABSTRACT

This paper addresses the problem of manipulating images using natural language description. Our task aims to semantically modify visual attributes of an object in an image according to the text describing the new visual appearance. Although existing methods synthesize images having new attributes, they do not fully preserve text-irrelevant contents of the original image. In this paper, we propose the text-adaptive generative adversarial network (TAGAN) to generate semantically manipulated images while preserving text-irrelevant contents. The key to our method is the text-adaptive discriminator that creates word-level local discriminators according to input text to classify fine-grained attributes independently. With this discriminator, the generator learns to generate images where only regions that correspond to the given text are modified. Experimental results show that our method outperforms existing methods on CUB and Oxford-102 datasets, and our results were mostly preferred on a user study. Extensive analysis shows that our method is able to effectively disentangle visual attributes and produce pleasing outputs.

研究の動機と目的

• 自然言語説明に guided される意味画像操作を動機付ける。
• テキストと関係のない内容を保持しつつ、テキストで説明された属性だけを変更する。
• 生成器へ細かなフィードバックを提供するテキスト適応型判別器を開発する。
• 最先端のテキスト→画像手法と比較して、保持とリアリズムの向上を示す。

提案手法

• 入力テキストの対応語に付着した語レベルの局所判別器からなるテキスト適応型判別器を導入する。
• 語レベルスコアをテキスト注意機構と併せて統合し、最終的な本物/偽判定を出し、細かな属性操作を可能にする。
• 画像とテキスト（双方向RNN）をエンコードし、残差ブロックを適用して属性を変更しつつ、再構成損失によってテキスト非関連内容を再構成する。
• 複数スケールの画像特徴を組み込み、判別器が異なる視覚スケールの属性に注意を向けられるようにする。
• 条件付き判別器の不安定さを直接罰則とせず、無条件GAN損失、テキスト条件付き損失、再構成損失で学習する。

実験結果

リサーチクエスチョン

• RQ1 テキスト適応型の語レベル判別器は、テキストで記述された画像属性を正確に操作しつつ、関係のない内容を変えずに済むのか。
• RQ2 多スケール判別器とテキスト注意は、文レベル条件付けと比べて属性の分離と視覚的リアリズムを改善するのか。
• RQ3 TAGANは元の内容の保持と対象属性の変更の両立において、ベースライン手法と比較してどう機能するのか。

主な発見

• TAGANはCUBおよびOxford-102で、属性操作の正確さと自然さの点でSISGANとAttnGANを上回る（ユーザ調査結果）。
• 肯定テキスト再構成におけるL2再構成誤差が低く、テキスト非関連内容の保持が良いことを示す。
• 定性的な結果は、背景や記述されていない領域を維持しつつ、属性変更が正確であることを示す。
• アブレーションにより、多スケール判別器（conv3, conv4, conv5）が粗い属性と細かい属性の取り扱いを改善することを示す。
• テキスト補間実験は、元の内容を失うことなくスムーズな属性変化を示す。
• 本手法は画像-テキスト検索性能でも競争力があり、ベースラインと比べて定性的な改善を示す。