[論文レビュー] CPGAN: Full-Spectrum Content-Parsing Generative Adversarial Networks for Text-to-Image Synthesis

Jiadong Liang, Wenjie Pei+1 more|arXiv (Cornell University)|Dec 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 6

ひとこと要約

CPGANは、テキストから画像を生成するタスクにおいて、メモリに注意を払う機構（MATE）を用いてテキスト入力を統合的に解析するとともに、オブジェクトに注意を向ける画像エンコーダー（OAIE）を用いて生成画像を解析することで、意味的整合性を向上させるフルスケールのコンテンツ解析フレームワークを導入する。さらに、語と画像の部分領域との間の一致を細分化された条件付き識別器（FGCD）で強化することで、語と画像の対応を高める。この手法により、COCOデータセット上でインセプションスコアが35.69から52.73に向上し、意味的整合性と画像の現実性が顕著に向上し、最先端の性能を達成した。

ABSTRACT

Typical methods for text-to-image synthesis seek to design effective generative architecture to model the text-to-image mapping directly. It is fairly arduous due to the cross-modality translation. In this paper we circumvent this problem by focusing on parsing the content of both the input text and the synthesized image thoroughly to model the text-to-image consistency in the semantic level. Particularly, we design a memory structure to parse the textual content by exploring semantic correspondence between each word in the vocabulary to its various visual contexts across relevant images during text encoding. Meanwhile, the synthesized image is parsed to learn its semantics in an object-aware manner. Moreover, we customize a conditional discriminator to model the fine-grained correlations between words and image sub-regions to push for the text-image semantic alignment. Extensive experiments on COCO dataset manifest that our model advances the state-of-the-art performance significantly (from 35.69 to 52.73 in Inception Score).

研究の動機と目的

• 直接的なマッピングを超えて明示的なコンテンツ解析を導入することで、テキストから画像への異種間意味的整合性の課題に取り組む。
• テキストエンコーディング段階でメモリ機構を用いて語レベルの視覚的文脈をモデル化することで、画像領域との整合性を向上させ、画像の忠実度を向上させる。
• 生成画像のオブジェクトに注意を向ける意味的解析を可能にし、視覚的意味の理解を強化する。
• 局所的な語-部分領域相関をモデル化する細分化された条件付き識別器を用いて、テキストと画像の整合性を精緻化する。
• COCOデータセットにおいて、定量的指標と人間評価の両面で最先端の性能を達成する。

提案手法

• トレーニングデータ内の関連画像を横断的に照合することで、各語に対して視覚的文脈を捉えるメモリに注意を払うテキストエンコーダー（MATE）を提案する。
• 生成画像を意味的コンポonentに分解することで、より良い視覚的表現を得るためのオブジェクトに注意を向ける画像エンコーダー（OAIE）を導入する。
• 語と画像の部分領域との間の局所的整合性を評価する細分化された条件付き識別器（FGCD）を設計し、意味的整合性を強制する。
• コンテンツ解析を統合した粗いから細かい段階への生成フレームワークを採用し、テキストと画像の意味が共有された意味空間で一致するようにする。
• FGCDにおけるパッチベースの識別戦略を採用することで、モデルパラメータ数を削減しながらも高い性能を維持する。
• GANフレームワーク内にMATE、OAIE、FGCDを統合し、生成品質と意味的整合性を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 テキストと生成画像の両方の明示的コンテンツ解析が、テキストから画像への生成における意味的整合性を向上させることができるか？
• RQ2 テキストエンコーディング段階で語レベルの視覚的文脈を効果的にモデル化することで、画像領域との整合性を向上させることができるか？
• RQ3 オブジェクトに注意を向ける画像解析が、生成画像の意味的表現をどの程度向上させることができるか？
• RQ4 局所的な語-部分領域相関をモデル化する細分化された条件付き識別器が、生成品質と整合性を顕著に向上させることができるか？
• RQ5 フルスケールのコンテンツ解析が、定量的指標と人間評価の両面で測定可能な改善をもたらすか？

主な発見

• CPGANはCOCOデータセットで52.73のインセプションスコアを達成し、前回の最先端（35.69）から47.74%の向上を達成した。
• モデルは93.59%のR-precision、77.02%のSOA-C、84.55%のSOA-Iを達成し、すべての指標で従来手法を顕著に上回った。
• 人間評価では、2者比較において63.73%の選択を得ており、AttnGAN（28.33%）やStackGAN（7.94%）を上回った。
• 性能に比してパラメータ数は318Mにまで削減され、AttnGAN（956M）やStackGAN（996M）よりも顕著に少ない。
• 定性的な結果から、CPGANは特に複数のオブジェクトとその相互作用を含む複雑なシーンにおいて、より現実的で意味的に整合性の高い画像を生成していることが示された。
• アブレーションスタディにより、MATE、OAIE、FGCDの3つの構成要素がすべて全体的な性能向上に顕著に寄与していることが確認された。