[論文レビュー] DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis

Tao Ming, Hao Tang+4 more|arXiv (Cornell University)|Aug 13, 2020

Generative Adversarial Networks and Image Synthesis被引用数 26

ひとこと要約

DF-GANは、高解像度画像を直接生成することで、生成器のエンタングルメントを解消するワンステージのテキストto画像合成フレームワークを提案する。ターゲットを意識したディスクライバ（Discriminator）を用い、マッチングを意識した勾配ペナルティ（MA-GP）とワンウェイ出力により、追加のネットワークを用いずにテキストと画像の整合性を向上させる。また、深く統合されたテキスト・イメージ特徴の融合を可能にするディープ・フラッシュ・ブロック（DFBlock）を導入する。CUBおよびCOCOデータセットにおいて、それぞれFIDスコア14.81および15.62を達成し、最先端の性能を発揮する。

ABSTRACT

Synthesizing high-quality realistic images from text descriptions is a challenging task. Existing text-to-image Generative Adversarial Networks generally employ a stacked architecture as the backbone yet still remain three flaws. First, the stacked architecture introduces the entanglements between generators of different image scales. Second, existing studies prefer to apply and fix extra networks in adversarial learning for text-image semantic consistency, which limits the supervision capability of these networks. Third, the cross-modal attention-based text-image fusion that widely adopted by previous works is limited on several special image scales because of the computational cost. To these ends, we propose a simpler but more effective Deep Fusion Generative Adversarial Networks (DF-GAN). To be specific, we propose: (i) a novel one-stage text-to-image backbone that directly synthesizes high-resolution images without entanglements between different generators, (ii) a novel Target-Aware Discriminator composed of Matching-Aware Gradient Penalty and One-Way Output, which enhances the text-image semantic consistency without introducing extra networks, (iii) a novel deep text-image fusion block, which deepens the fusion process to make a full fusion between text and visual features. Compared with current state-of-the-art methods, our proposed DF-GAN is simpler but more efficient to synthesize realistic and text-matching images and achieves better performance on widely used datasets.

研究の動機と目的

• 複数のスケールで動作する複数の生成器が原因で生じるスタックドテキストto画像 GAN におけるエンタングルメント問題に対処すること。
• DAMSM やシアンプスネットワークなどの固定された追加ネットワークに依存せずに、テキストと画像の意味的整合性を向上させること。
• すべての画像スケールにわたり、テキストと画像の特徴をより深くかつ効果的に統合することで、生成品質を向上させること。
• 高解像度でのクロスモーダルアテンションの計算負荷を軽減するため、それを軽量でスタック可能な統合ブロックに置き換えること。

提案手法

• ヘッジ損失と残差ネットワークを用いたワンステージのバックボーンを提案し、複数スケールの生成器間のエンタングルメントを回避する。
• マッチングを意識した勾配ペナルティ（MA-GP）とワンウェイ出力を統合したターゲットを意識したディスクライバを導入し、追加のネットワークを用いずに意味的整合性を向上させる。
• テキストと視覚的特徴をすべての特徴スケールでチャンネル単位で深く統合できるように、複数のアフィン変換を備えたディープ・フラッシュ・ブロック（DFBlock）を設計する。
• MA-GPを正則化戦略として採用し、実画像およびテキストに一致する画像の点で勾配がゼロになるよう促進することで、損失関数の滑らかさを向上させ、生成器の一般化性能を向上させる。
• MA-GP下での生成器の収束を加速するために、ツーワイアウトプットをワンウェイアウトプットに置き換える。
• クロスモーダルアテンションの計算負担を回避するため、軽量でスタック可能なアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 ワンステージの生成器アーキテクチャは、テキストto画像合成における複数スケールの生成器間のエンタングルメントを解消できるか？
• RQ2 MA-GP とワンウェイアウトプットを備えたターゲットを意識したディスクライバは、DAMSM などの追加ネットワークを上回り、テキストと画像の意味的整合性を強化できるか？
• RQ3 スタック可能な DFBlock を用いて統合プロセスを深くすることで、テキスト表現と画像表現間の特徴相互作用を向上させられるか？
• RQ4 ベンチマークデータセットにおける画像品質と意味的整合性の観点から、本手法は最先端モデルと比較してどのように優れているか？
• RQ5 クロスモーダルアテンションを軽量な統合ブロックに置き換えることで、計算コストとトレーニング効率にどのようなトレードオフが生じるか？

主な発見

• DF-GANはCUBデータセットで14.81のFréchet Inception Distance（FID）を達成し、従来の最先端手法を顕著に上回った。
• COCOデータセットではFIDが15.62に達し、複雑で多様な画像-テキストペアへの強い一般化能力を示した。
• ユーザースタディの結果、意味的整合性スコアは5点満点中4.61点であり、生成画像とテキスト記述との間の強い整合性を示した。
• アブレーションスタディの結果、ワンステージバックボーン、MA-GP、ワンウェイアウトプットの組み合わせが最高のIS（5.10）と最低のFID（14.81）を達成した。
• DFBlockはCBN、AdaIN、AFFBlockを上回り、最高のIS（5.10）とFID（14.81）を達成し、深層統合の有効性を裏付けた。
• OS-B、MA-GP、OW-Oを組み合わせた場合、ベースラインと比較してFIDが12.32ポイント低下し、すべてのコンponentsの累積的利点を示した。