[論文レビュー] SegAttnGAN: Text to Image Generation with Segmentation Attention

Yuchuan Gou, Qiancheng Wu+3 more|arXiv (Cornell University)|May 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 6

ひとこと要約

本稿では、画像の現実性とレイアウトの一貫性を向上させるために、空間的アテンションのガイドとしてセグメンテーションマップを統合するテキストから画像を生成するモデル、SegAttnGANを提案する。テキストとセグメンテーションベースのアテンションの両方を活用することで、CUBでは4.84、Oxford-102では3.52という最先端のInceptionスコアを達成し、エンドツーエンドでマスクを生成する自己アテンションバリアントも、高品質な出力を維持しながら実現した。

ABSTRACT

In this paper, we propose a novel generative network (SegAttnGAN) that utilizes additional segmentation information for the text-to-image synthesis task. As the segmentation data introduced to the model provides useful guidance on the generator training, the proposed model can generate images with better realism quality and higher quantitative measures compared with the previous state-of-art methods. We achieved Inception Score of 4.84 on the CUB dataset and 3.52 on the Oxford-102 dataset. Besides, we tested the self-attention SegAttnGAN which uses generated segmentation data instead of masks from datasets for attention and achieved similar high-quality results, suggesting that our model can be adapted for the text-to-image synthesis task.

研究の動機と目的

• テキストから画像を生成する際の物体形状の変形や現実的でないレイアウトの問題に対処すること。
• GANの学習中にセグメンテーションマップを空間的ガイドとして組み込むことで、画像の現実性と意味的整合性を向上させること。
• 推論時に教師データのセグメンテーションマスクに依存しないエンドツーエンドでマスクを生成する自己アテンションバリアントを開発すること。
• セグメンテーションベースのアテンションが視覚的品質および定量的指標の両方を向上させることを検証すること。

提案手法

• 生成器においてセグメンテーションマップを空間的アテンションマップとして統合し、特徴の精錬とオブジェクトレイアウト学習をガイドする。
• 条件付き生成のための単語レベルおよび文レベル特徴を抽出するためにLSTMベースのテキストエンコーダを用いる。
• 入力のセグメンテーションマスクを用いて要素ごとの乗算と残差接続により特徴マップをモodulateするセグメンテーションアテンションモジュールを適用する。
• ノイズとテキストからセグメンテーションマスクを予測する自己アテンション生成器を採用し、それを画像生成に使用する。
• マルチスケールの特徴マップとアテンション機構を組み合わせた条件付きGAN学習により、忠実度と整合性を向上させる。
• 画像品質とテキスト-画像整合性の評価に、InceptionスコアとR-precisionを用いる。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマップは、テキストから画像を生成する際の画像の現実性とレイアウトの一貫性を向上させることができるか？
• RQ2 セグメンテーションベースの空間的アテンションの統合は、生成画像の品質と多様性にどのような影響を与えるか？
• RQ3 自己アテンション生成器は、教師データのセグメンテーションマスクがなくても、高品質なマスクを生成し、画像生成を効果的にガイドできるか？
• RQ4 提案手法は、定量的指標および視覚的品質の両面で、既存の最先端モデルを上回ることができるか？

主な発見

• CUBデータセットでは、SegAttnGANがInceptionスコア4.84を達成し、ベースラインのAttnGAN（4.36）および他の最先端手法を上回った。
• Oxford-102データセットでは、SegAttnGANがInceptionスコア3.52を達成し、比較対象の全モデルを上回った。
• 自己アテンションバリアントのSegAttnGANは、CUBでInceptionスコア4.44、Oxford-102で3.34を達成し、推論時に教師データのセグメンテーションマスクがなくても強力な性能を示した。
• R-precisionスコアは、SegAttnGANがテキスト-画像整合性を良好に維持しており、CUBでは52.71%を記録し、ベースラインのAttnGAN（53.31%）と同等の水準であった。
• StackGAN++にセグメンテーションアテンションモジュールを適用することで、Inceptionスコアが3.82から4.31に向上し、広範な互換性と有効性が示された。
• 定性的な結果から、セグメンテーションマップが物体の形状を効果的に制約しており、予測されたマスクを用いても自己アテンションバリアントは現実的な画像を生成していることが確認された。