[論文レビュー] Generating Images from Captions with Attention

Elman Mansimov, Emilio Parisotto+2 more|arXiv (Cornell University)|Nov 9, 2015

Multimodal Machine Learning Applications参考文献 24被引用数 74

ひとこと要約

本論文では、語の上でのソフトアテンションメカニズムと反復的パッチ描画を用いて、自然言語のキャプションから高品質な画像を生成する条件付き生成モデル、alignDRAWを提案する。変分オートエンコーダと双方向RNNに基づく言語モデリングおよびアテンションを組み合わせることで、訓練時に見られなかった分布外のキャプションに対しても、現実的で新規のシーン構成を生成できる。画像生成およびリtrievalタスクにおいて、構造的類似度指数（SSI）0.156 ± 0.11を達成し、ベースラインを上回った。

ABSTRACT

Motivated by the recent progress in generative models, we introduce a model that generates images from natural language descriptions. The proposed model iteratively draws patches on a canvas, while attending to the relevant words in the description. After training on Microsoft COCO, we compare our model with several baseline generative models on image generation and retrieval tasks. We demonstrate that our model produces higher quality samples than other approaches and generates images with novel scene compositions corresponding to previously unseen captions in the dataset.

研究の動機と目的

• 自然言語の記述から現実的でリアルな画像を生成する生成モデルを開発すること。これは、無条件またはラベル条件付きの画像生成を越えるものである。
• 訓練時に見られなかった、例として「青空に止まっている信号機が飛んでいる」といった、新しい分布外のキャプションに対しても一般化できるようにすること。
• ラプラシアンピラミッドGANを用いた敵対的シャープニング処理ステップを組み込むことで、画像品質を向上させること。
• 標準的な指標を用いて、画像生成および画像リtrievalタスクの両方でモデルの性能を評価すること。

提案手法

• モデルは入力キャプションを文の前向きおよび後向きの依存関係を捉えるために、双方向RNNを用いて文脈的な語表現に変換する。
• 各画像生成ステップにおいて、キャプション内の関連する語に動的にアテンションを向けるソフトアテンションメカニズムを採用し、キャンバス上でどこに何を描くかをガイドする。
• 画像生成プロセスは反復的である：各時刻ステップで、モデルは小さな画像パッチを生成し、キャプション内の最も関連性の高い語にアテンションを向けることで、生成を条件づける。
• モデルは、画像がキャプションに対して与えられた下界の対数尤度を最適化するように、微分可能なアテンションメカニズムを用いた変分オートエンコーダフレームワークで訓練される。
• 生成後、確定的なラプラシアンピラミッドGANを適用して、主モデルのぼやけた出力をシャープニーズさせ、知覚的品質を向上させる。
• モデルはMicrosoft COCOデータセットで訓練され、生成画像の構造的類似度（SSI）およびリtrieval指標（R@K）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 語の上でのアテンションメカニズムを用いた深層生成モデルは、自然言語のキャプションから現実的で整合性のある画像を生成できるか？
• RQ2 モデルは、学習データに存在しない、まったく新しい分布外のシーンを記述するキャプションに対しても、妥当な画像を生成できるか？
• RQ3 一括生成と比較して、反復的かつアテンションベースの画像生成は、画像品質およびリtrievalパフォーマンスにおいてどのように異なるか？
• RQ4 エンドツーエンドの訓練なしに、GANを用いた後処理によって、変分オートエンコーダが生成する画像の知覚的品質を向上させられるか？

主な発見

• alignDRAWモデルは、構造的類似度指数（SSI）0.156 ± 0.11を達成し、他の変分モデルおよびLAPGANを上回る画像類似度指標を示した。
• 画像リtrievalにおいて、alignDRAWはリ call@50（R@50）68.5%を達成し、Fully-Conn VAE（53.4%）やConv-Deconv VAE（52.9%）といったベースラインモデルを顕著に上回った。
• 「青空に止まっている信号機が飛んでいる」といった極めて奇妙なキャプションに対しても、モデルは妥当な画像を生成でき、学習分布外への一般化能力が顕著に示された。
• ラプラシアンピラミッドGANによる後処理は視覚的シャープネスを向上させたが、エンドツーエンドの訓練がなかったため、このアプローチの有効性は制限された。
• モデルの性能は画像シャープニングに敏感であり、対数尤度推定値およびリtrievalパフォーマンスが低下した。これは、後処理された画像に対して尤度に基づく指標が信頼できない可能性を示唆している。