[論文レビュー] Semantics Disentangling for Text-to-Image Generation

Guojun Yin, Bin Liu+4 more|arXiv (Cornell University)|Apr 2, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 12

ひとこと要約

本稿では、画像生成の整合性と詳細忠実度を向上させるために、多様な言語的記述から意味を分離するSD-GANというテキストから画像を生成するモデルを提案する。本モデルは、高レベルの意味的整合性を蒸留するためにシアンズドゥアリティックディスクリミネーターを用い、微細な言語的手がかりを埋め込むために意味的条件下でバッチ正規化（SCBN）層を導入している。CUBおよびMS-COCOデータセットにおいて最先端の性能を達成している。

ABSTRACT

Synthesizing photo-realistic images from text descriptions is a challenging problem. Previous studies have shown remarkable progresses on visual quality of the generated images. In this paper, we consider semantics from the input text descriptions in helping render photo-realistic images. However, diverse linguistic expressions pose challenges in extracting consistent semantics even they depict the same thing. To this end, we propose a novel photo-realistic text-to-image generation model that implicitly disentangles semantics to both fulfill the high-level semantic consistency and low-level semantic diversity. To be specific, we design (1) a Siamese mechanism in the discriminator to learn consistent high-level semantics, and (2) a visual-semantic embedding strategy by semantic-conditioned batch normalization to find diverse low-level semantics. Extensive experiments and ablation studies on CUB and MS-COCO datasets demonstrate the superiority of the proposed method in comparison to state-of-the-art methods.

研究の動機と目的

• 同じ画像を異なる言語的記述で与えた場合の、画像生成の不整合性という課題に取り組む。
• 異なるテキスト記述においても高レベルの意味的整合性を維持しつつ、低レベルの意味的多様性と微細な詳細を保つ。
• 明示的なテキストから意味的埋め込みを必要とせずに、テキストから画像生成の過程で意味を暗黙的に分離する新しいフレームワークを導入する。
• CUBやMS-COCOといったベンチマークデータセットにおける生成品質と整合性を向上させる。

提案手法

• 対照的損失を用いて意味的整合性を強制するため、ペアのテキスト記述を比較するシアンズドゥアリティックディスクリミネーター構造を採用している。
• シアンズ構造により、2つのテキスト-画像ペアを同時に処理し、同じ画像（異なる記述）のペアでは特徴量の距離を最小化し、異なる画像のペアでは距離を最大化する。
• 言語的手がかりを特徴マップに埋め込むために、意味的条件下バッチ正規化（SCBN）を導入している。
• 文レベルまたは語レベルのテキスト埋め込みを用いて、バッチ正規化の統計を調整することで、生成過程での特徴マップの動的適応を可能にしている。
• 生成のリアルさと意味的整合性の両方を最適化するため、敵対的損失と対照的損失を組み合わせてモデルを訓練している。
• FIDとインセプションスコアの指標を用いて、CUB-200およびMS-COCOデータセットでフレームワークを評価している。

実験結果

リサーチクエスチョン

• RQ1 同じ画像の多様な言語的記述から、シアンズドゥアリティックディスクリミネーター構造が高レベルの意味的整合性を効果的に学習できるか？
• RQ2 画像生成過程で、テキストからの低レベルの意味的詳細と多様性をどのように維持できるか。過剰に平滑化されたり、微細な特徴が消失したりするのを防ぐには？
• RQ3 意味的条件下バッチ正規化（SCBN）は、テキスト特徴を連結した標準バッチ正規化よりも、視覚的意味的統合において優れているか？
• RQ4 生成器の異なる段階で対照的損失を適用した場合、全体の生成品質と整合性に与える寄与度はどの程度か？

主な発見

• 提案されたSD-GANは、CUB-200データセットでFréchet Inception Distance（FID）4.67±0.09を達成し、最先端の性能を示した。
• 大規模なMS-COCOデータセットでは、FIDが35.69±0.50にまで低下し、従来手法を上回った。
• アブレーションスタディの結果、3段階（D1, D2, D3）すべてに対照的損失を適用した場合が最良の性能を示し、CUBではFID 4.67±0.09、MS-COCOでは35.69±0.50を達成した。
• 語レベルの言語的手がかりを用いたSCBNは、文レベルの手がかりを用いるよりも優れた性能を示し、CUBではFID 4.45を達成した（文レベルでは4.39）。
• SCBNを標準バッチ正規化に置き換え、テキスト特徴を連結した場合、性能が劣化した。これにより、SCBNが視覚的意味的埋め込みにおいて優位であることが確認された。
• 本モデルは言語的変化に対して頑健であり、記述の表現が著しく異なる場合でも一貫性のある画像を生成した。