[論文レビュー] Text-to-Image Generation with Attention Based Recurrent Neural Networks

Tehseen Zia, Shahan Arif+2 more|arXiv (Cornell University)|Jan 18, 2020

Video Analysis and Summarization参考文献 24被引用数 6

ひとこと要約

本論文では、語句から画像を生成するエンコーダ・デコーダフレームワークを用いた、アテンションベースの自己回帰的画像生成モデルを提案する。このモデルは、語句からピクセルへのアテンションとピクセルからピクセルへの自己回帰的予測を組み合わせ、外部のオブジェクト検出器を用いずにエンドツーエンドで学習することで、MS-COCOおよびMNIST-with-captionsデータセットで最先端の性能を達成し、構造的類似度とリCALLメトリクスにおいて従来手法を上回る。

ABSTRACT

Conditional image modeling based on textual descriptions is a relatively new domain in unsupervised learning. Previous approaches use a latent variable model and generative adversarial networks. While the formers are approximated by using variational auto-encoders and rely on the intractable inference that can hamper their performance, the latter is unstable to train due to Nash equilibrium based objective function. We develop a tractable and stable caption-based image generation model. The model uses an attention-based encoder to learn word-to-pixel dependencies. A conditional autoregressive based decoder is used for learning pixel-to-pixel dependencies and generating images. Experimentations are performed on Microsoft COCO, and MNIST-with-captions datasets and performance is evaluated by using the Structural Similarity Index. Results show that the proposed model performs better than contemporary approaches and generate better quality images. Keywords: Generative image modeling, autoregressive image modeling, caption-based image generation, neural attention, recurrent neural networks.

研究の動機と目的

• GANの不安定性やVAEの非効率な推論を回避する、実行可能で安定したキャプションベースの画像生成モデルの開発。
• 外部のオブジェクト検出器やセグメンテーションモデルに依存しないように、語句からピクセルへのアライメントをエンドツーエンドで学習する。
• 統一された自己回帰的フレームワーク内で言語の意味とピクセルレベルの依存関係を同時にモデル化することで、画像生成品質の向上を図る。
• 構造的類似度とリCALLメトリクスを用いたベンチマークデータセットにおける優れた性能の実証。

提案手法

• キャプション内の語句と対応する画像領域とのアライメントを学習するアテンションベースのエンコーダを用いる。
• 以前に生成されたピクセルに条件づけられた、逐次的なピクセル生成を行う条件付き自己回帰的デコーダを採用する。
• 二重パス学習機構を導入：語句からピクセルへのアテンションで意味的ガイダンスを提供し、ピクセルからピクセルへの自己回帰で空間的整合性を確保する。
• ピクセル列に対する最尤推定を用いて、モデルをエンドツーエンドで訓練する。
• RNNアーキテクチャを用いて、言語空間および画像空間の両方における長距離依存関係をモデル化する。
• ピクセルレベルの再構成に基づく構造化損失関数を適用し、生成の忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部のオブジェクト検出器に依存せずに、エンドツーエンドのアテンションベースの自己回帰的モデルが、テキストキャプションから高品質な画像を生成できるか？
• RQ2 固定または事前計算された画像構造を用いるモデルと比較して、アテンションベースの語句からピクセルへのアライメントは、画像生成品質をどのように向上させるか？
• RQ3 アテンションを用いた自己回帰的モデリングは、GANベースやVAEベースのアプローチと比較して、テキストから画像への生成においてより高い安定性と性能を提供するか？
• RQ4 推論時に未学習のテキスト記述に対して、モデルはどの程度一般化できるか？

主な発見

• MS-COCOデータセットでは、提案されたalignPixelRNNモデルが、構造的類似度指数（SSI）0.166 ± 0.12を達成し、すべてのベースラインモデル（alignDRAW：0.156 ± 0.11）を上回った。
• MS-COCOではリCALL@50が80.5を記録し、次に優れたベースライン（alignDRAW：68.5）を顕著に上回った。
• MNIST-with-captionsデータセットでは、リCALL@50が88、SSIが0.356 ± 0.35を達成し、より単純で構造的なデータに対して強い性能を示した。
• 視覚的サンプルでは、モデルがベースラインのalignDRAWよりもシャープで整合性のとれた画像を生成していることが確認された。alignDRAWは一度のパスで画像を生成し、反復的に精錬する。
• モデルの性能は安定しており、過学習が最小限に抑えられた、一貫性のある訓練損失と検証損失曲線からその一般化能力が裏付けられた。
• アテンション機構により、明示的なオブジェクト検出を必要とせず、抽象的な概念レベルのアライメントを学習可能となり、真のエンドツーエンド学習が可能になった。