[論文レビュー] Variational Hetero-Encoder Randomized Generative Adversarial Networks for Joint Image-Text Modeling

Hao Zhang, Bo Chen+3 more|arXiv (Cornell University)|May 18, 2019

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、変分異性エンコーダーとランダム化GANを統合したVHE-GANを提案する。このモデルは、学習済みのランダム性を備えたエンドツーエンド学習により、画像とテキストを同時にモデリングする。確率的画像エンコーダー、テキストデコーダー、GANを統合し、粗くから細かく、多スケールの方法で階層的意味表現と視覚的特徴をモデル化することで、マルチモーダル生成において最先端の性能を達成する。

ABSTRACT

For bidirectional joint image-text modeling, we develop variational hetero-encoder (VHE) randomized generative adversarial network (GAN), a versatile deep generative model that integrates a probabilistic text decoder, probabilistic image encoder, and GAN into a coherent end-to-end multi-modality learning framework. VHE randomized GAN (VHE-GAN) encodes an image to decode its associated text, and feeds the variational posterior as the source of randomness into the GAN image generator. We plug three off-the-shelf modules, including a deep topic model, a ladder-structured image encoder, and StackGAN++, into VHE-GAN, which already achieves competitive performance. This further motivates the development of VHE-raster-scan-GAN that generates photo-realistic images in not only a multi-scale low-to-high-resolution manner, but also a hierarchical-semantic coarse-to-fine fashion. By capturing and relating hierarchical semantic and visual concepts with end-to-end training, VHE-raster-scan-GAN achieves state-of-the-art performance in a wide variety of image-text multi-modality learning and generation tasks.

研究の動機と目的

• 確率的符号化と生成的敵対的学習を統合することで、双方向的で統合的な画像・テキストモデリングの課題に取り組む。
• GANジェネレータにおける変分後ろ向き分布をランダム性の源として取り入れることで、画像・テキスト生成の質と多様性を向上させる。
• StackGAN++ やディープトピックモデルなどの市販モジュールを統合できるスケーラブルでエンドツーエンドのフレームワークを構築する。
• 意味的および視覚的コンセプトの進行に一致する、階層的で粗くから細かく段階的な画像生成を実現する。
• 多様な画像・テキストマルチモーダル学習および生成タスクにおいて、最先端の性能を達成する。

提案手法

• VHE-GANは、画像を潜在表現にマップする確率的画像エンコーダーと、関連するテキストを再構築する確率的テキストデコーダーを統合する。
• 画像符号化からの変分後ろ向き分布を、GANジェネレータの確率的入力として用い、多様な画像生成を制御的に導入する。
• 階層的特徴学習のためのラダーモデル構造を有する画像エンコーダーと、分離可能なテキスト表現のためのディープトピックモデルを統合する。
• 多スケールの画像生成を段階的・粗くから細かく行うために、StackGAN++ を統合する。
• 敵対的損失、再構築損失、およびKLダイバージェンス正則化を用いて、エンドツーエンドでモデル全体を訓練する。
• 画像生成中の階層的特徴の整合性を向上させるために、ラスタースキャンに基づく訓練戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 確率的符号化とGANベースの生成を統合した統合的深層生成モデルは、画像とテキストの間の双方向的依存関係を効果的に捉えることができるか？
• RQ2 変分後ろ向き分布をランダム性の源として用いることで、マルチモーダル生成における生成画像の多様性と品質はどのように向上するか？
• RQ3 StackGAN++ やディープトピックモデルなどの市販コンponentsを、統合的画像・テキストフレームワークに効果的に統合できるか？
• RQ4 意味的および視覚的コンセプトの進行に一致する、階層的で粗くから細かく段階的な画像生成は、生成品質と整合性指標を向上させることができるか？
• RQ5 提案されたVHE-ラスタースキャン-GANは、複数の画像・テキストモデリングおよび生成ベンチマークで最先端の性能を達成するか？

主な発見

• VHE-GANは、再訓練を伴わず、ディープトピックモデル、ラダーモデル構造の画像エンコーダー、およびStackGAN++ といった市販モジュールを統合することで、競争力のある性能を達成する。
• VHE-ラスタースキャン-GANの変種は、多スケールで階層的意味論的粗くから細かく段階的な生成プロセスにより、写真のようなリアルな画像生成を実現する。
• モデルのエンドツーエンド訓練により、モダリティ間で階層的意味論的および視覚的コンセプトを効果的に捉え、関連付けることができる。
• フレームワークは、広範な画像・テキストマルチモーダル学習および生成タスクで最先端の性能を示す。
• 変分後ろ向き分布を確率的入力として用いることで、生成の多様性を高めつつ、高精細な画像出力を維持できる。
• ラスタースキャン訓練戦略により、階層的生成における特徴の整合性と生成品質が向上する。