[論文レビュー] Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network

Zizhao Zhang, Yuanpu Xie+1 more|arXiv (Cornell University)|Feb 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 52

ひとこと要約

HDGANは、複数の生成段階で階層的にネストされた判別器を導入し、テキストを条件として高解像度で意味論的一貫性のある写真画像を生成します。データセットと指標全体で最先端を改善し、新しい視覚-意味的類似性評価を提供します。

ABSTRACT

This paper presents a novel method to deal with the challenging task of generating photographic images conditioned on semantic image descriptions. Our method introduces accompanying hierarchical-nested adversarial objectives inside the network hierarchies, which regularize mid-level representations and assist generator training to capture the complex image statistics. We present an extensile single-stream generator architecture to better adapt the jointed discriminators and push generated images up to high resolutions. We adopt a multi-purpose adversarial loss to encourage more effective image and text information usage in order to improve the semantic consistency and image fidelity simultaneously. Furthermore, we introduce a new visual-semantic similarity measure to evaluate the semantic consistency of generated images. With extensive experimental validation on three public datasets, our method significantly improves previous state of the arts on all datasets over different evaluation metrics.

研究の動機と目的

• 記述テキストに条件づけられた高解像度でフォトリアリスティックな画像を生成する課題に対処する。
• 階層的対抗制約を用いて中間レベルの生成器表現を正則化する。
• マルチスケールの判別器を備えた単一ストリーム生成器のエンドツーエンド訓練を可能にする。
• 多目的な対抗損失を通じて意味的一貫性と画像忠実度を向上させる。
• テキストと生成画像の整合性を評価する視覚-意味的類似性指標を導入する。

提案手法

• 複数の解像度でサイド出力を持つ画像ピラミッドを出力する単一ストリーム生成器を用いる。
• 対応するスケールで実画像/偽画像の判定と画像とテキストのペア判定を強化するため、各サイド出力に別個の判別器を取り付ける。
• 中間表現を正則化し訓練を安定化させるため、階層的にネストされた対抗目的を採用する。
• グローバルな意味的一貫性のためのマッチング対応型ペア損失と、各スケールでの局所的忠実度のための局所対抗損失を採用する。
• 確率的なテキスト埋め込みとKL正則化を用いた条件付け増強を取り入れ、条件付けを多様化する。
• スケールを横断する画像-テキストペア損失と局所的画像損失の両方を含む多項損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 階層的で多スケールな対抗監督は高解像度のテキストから画像への合成をどのように改善できるか？
• RQ2 複数の生成段階で局所的な対抗ヒントとグローバルなヒントを注入することは、意味的忠実度と視覚的品質を高めるのか？
• RQ3 単一ストリーム生成器で、マルチステージのカスケードや追加の監督なしに高解像度で意味的に一貫した結果を達成できるか？
• RQ4 従来のGAN指標を超えたテキスト-画像の整合性評価における視覚-意味的類似性指標の影響は何か？

主な発見

• HDGANはCUB、Oxford-102、COCOでいくつかのベースラインより高いInceptionスコアを達成（例：CUBで4.15±0.05、Oxford-102で3.45±0.07、COCOで11.86±0.18）。
• 階層的にネストされた判別器は性能を向上させる。64×64、128×128、256×256のスケールで判別器を使用する方が、スケール数が少ない場合よりも強い結果を生む。
• 局所的画像損失とマルチスケール・マルチ損失フレームワークは視覚-意味的一貫性を改善し、花弁や鳥のポーズなどより詳細な構造を生成する。
• HDGANはStackGANおよびTAC-GANを複数の指標で上回り、視覚-意味的類似性（VS）やMS-SSIMを含み、サンプルの多様性も向上する。
• 新しい視覚-意味的類似性指標は、生成画像と条件付けられたテキストとの意味的整合性と相関しており、いくつかのベースラインを上回る。
• HDGANは文の補間を通じて効果的なスタイル転送を示し、潜在空間の意味論が滑らかであることを示している。