[論文レビュー] DTGAN: Dual Attention Generative Adversarial Networks for Text-to-Image Generation

Zhenxing Zhang, Lambert Schomaker|arXiv (Cornell University)|Nov 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 38

ひとこと要約

DTGANは、チャネルに敏感なアテンションとピクセルに敏感なアテンションの2つのアテンションモジュールを用いた、単一のジェネレータ/ディスクラミネータフレームワークを提案する。これにより、意味的整合性と画像品質が向上する。条件付き適応インスタンス層正則化（CAdaILN）と新規の視覚的損失を統合することで、CUBおよびCOCOデータセットで最先端のFIDスコアを達成し、複数段階のモデルを上回る訓練安定性と解像度忠実度を実現した。

ABSTRACT

Most existing text-to-image generation methods adopt a multi-stage modular architecture which has three significant problems: 1) Training multiple networks increases the run time and affects the convergence and stability of the generative model; 2) These approaches ignore the quality of early-stage generator images; 3) Many discriminators need to be trained. To this end, we propose the Dual Attention Generative Adversarial Network (DTGAN) which can synthesize high-quality and semantically consistent images only employing a single generator/discriminator pair. The proposed model introduces channel-aware and pixel-aware attention modules that can guide the generator to focus on text-relevant channels and pixels based on the global sentence vector and to fine-tune original feature maps using attention weights. Also, Conditional Adaptive Instance-Layer Normalization (CAdaILN) is presented to help our attention modules flexibly control the amount of change in shape and texture by the input natural-language description. Furthermore, a new type of visual loss is utilized to enhance the image resolution by ensuring vivid shape and perceptually uniform color distributions of generated images. Experimental results on benchmark datasets demonstrate the superiority of our proposed method compared to the state-of-the-art models with a multi-stage framework. Visualization of the attention maps shows that the channel-aware attention module is able to localize the discriminative regions, while the pixel-aware attention module has the ability to capture the globally visual contents for the generation of an image.

研究の動機と目的

• 複数段階のテキストから画像へのGANにおける不安定性、高い計算コスト、初期段階の画像品質の低さを解消すること。
• 複数のジェネレータやディスクラミネータに依存せずに、テキスト記述と生成画像の間の意味的整合性を向上させること。
• 形状と色の均一性を保持する新しい視覚的損失を通じて、画像品質を向上させること。
• 条件付き正則化を用いて、テクスチャおよび形状の変更を細かく制御できること。

提案手法

• グローバルな文ベクトルと特徴マップの間のアテンション重みを計算するチャネルに敏感なアテンションモジュールを導入し、テキストに関連するチャネルを強調する。
• 空間的アテンションマップを生成するピクセルに敏感なアテンションモジュールを採用し、ジェネレータが画像の全体的に顕著な領域に注目できるように誘導する。
• 文ベクトルを用いてインスタンス正則化と層正則化を適応的にブレンドする、条件付き適応インスタンス層正則化（CAdaILN）を提案する。
• 生成画像と実画像の深層特徴間のL1距離に基づく新しい視覚的損失を設計し、知覚的品質と色分布の改善を図る。
• 複数段階のアーキテクチャに代わって、統一されたジェネレータ/ディスクラミネータペアを用いることで、訓練の複雑さを低減し、収束性を向上させる。
• 特徴マップを置き換えるのではなく、アテンションマップを直接特徴マップに適用することで、より正確な特徴の精練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数段階の学習を必要とせず、単一のジェネレータ/ディスクラミネータペアでテキストから画像生成の最先端性能を達成できるか？
• RQ2 アテンション機構をどのように設計すれば、意味的整合性と画像の詳細品質の両方を向上させられるか？
• RQ3 新しい視覚的損失が、生成画像における形状と色の忠実度に与える影響は何か？
• RQ4 テクスチャおよび形状の変調制御において、CAdaILNは標準の正則化層と比較してどのように異なるか？
• RQ5 二重アテンションモジュールは、異なる画像スケールにおいて特徴の精練をどの程度向上させるか？

主な発見

• DTGANはCUBデータセットで16.35のFréchet Inception Distance（FID）を達成し、既存の最先端モデルを上回った。
• CUBではInception Score（IS）が4.88を記録し、高品質で多様な画像生成を示した。
• アブレーションスタディの結果、文レベルの条件付き制御を施したCAdaILNは、バッチ正則化ベースラインと比較してISを0.17向上させ、FIDを3.27低下させた。
• 視覚的損失モジュールは、質的比較においてより鮮やかな形状と知覚的に均一な色分布を実現することで、画像品質の向上が顕著に確認された。
• アテンションマップの可視化結果から、チャネルに敏感なアテンションは特徴的な部分（例：くちばし、目）を局在化しているのに対し、ピクセルに敏感なアテンションは画像の全体的構造を捉えていることが確認された。
• 視覚的損失を含まないモデルは、現実的な形状の長めの翼を持つ鳥を生成できず、色の詳細が劣っていたことから、視覚的損失が果たす重要な役割が裏付けられた。