[論文レビュー] Learning a Recurrent Visual Representation for Image Caption Generation

Xinlei Chen, C. Lawrence Zitnick|arXiv (Cornell University)|Nov 20, 2014

Multimodal Machine Learning Applications参考文献 35被引用数 180

ひとこと要約

この論文では、画像キャプション生成とテキストからの視覚特徴再構成の両方を可能にする、共有の視覚的・意味的表現を学習する双方向型再帰ニューラルネットワークモデルを提案する。動的に入力された概念を符号化する再帰的視覚メモリを導入することで、MS COCO上で19.8%の比較において人間が書いたものよりも生成キャプションの好みが上回るなど、画像キャプションタスクで最先端の性能を達成した。

ABSTRACT

In this paper we explore the bi-directional mapping between images and their sentence-based descriptions. We propose learning this mapping using a recurrent neural network. Unlike previous approaches that map both sentences and images to a common embedding, we enable the generation of novel sentences given an image. Using the same model, we can also reconstruct the visual features associated with an image given its visual description. We use a novel recurrent visual memory that automatically learns to remember long-term visual concepts to aid in both sentence generation and visual feature reconstruction. We evaluate our approach on several tasks. These include sentence generation, sentence retrieval and image retrieval. State-of-the-art results are shown for the task of generating novel image descriptions. When compared to human generated captions, our automatically generated captions are preferred by humans over $19.8\%$ of the time. Results are better than or comparable to state-of-the-art results on the image and sentence retrieval tasks for methods using similar visual features.

研究の動機と目的

• 視覚入力から新しい画像キャプションを生成し、テキスト記述から視覚特徴を再構成できる双方向モデルの開発。
• 従来のモデルが画像からの新しい文の生成や逆写像を実行できないという限界に対処すること。
• 文生成中に視覚的コンセプトの長期記憶を向上させるために、再帰的視覚メモリ機構を活用すること。
• 画像キャプション、画像リtrieval、文リtrievalタスクで最先端の性能を達成すること。
• 直接比較による人間の好み評価を通じて、生成キャプションと人間が書いたキャプションの性能を評価すること。

提案手法

• モデルは再帰的ニューラルネットワーク（RNN）を用いて、生成または処理される語の進行に応じて動的視覚メモリに画像特徴を符号化する。
• 新しい再帰的視覚メモリコンponentは、語の系列から元の視覚特徴を再構成できるように学習され、双方向マッピングを可能にする。
• モデルはエンドツーエンドで訓練され、正解キャプションの尤度を最大化するとともに、元の特徴と再構成された特徴の間の再構成誤差を最小化する。
• 画像からテキストへの生成では、視覚メモリを画像特徴で初期化し、各デコードステップで語の埋め込みを用いて更新する。
• テキストから画像への再構成では、視覚メモリをゼロベクトルで初期化し、語が処理される度にRNNの隠れ状態を用いて更新する。
• リtrievalタスクでは、画像のキャプション尤度（T）と視覚特徴の再構成誤差（I）の両方を用いて順序付けを行う。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、視覚入力から新しい一貫性のある画像キャプションを生成するとともに、テキストから視覚特徴を再構成できるか？
• RQ2 再帰的視覚メモリ機構は、シーケンス生成中に視覚的コンセプトの長期的保持を向上させるか？
• RQ3 人間の好み評価において、提案モデルの生成キャプションは人間が書いたものと比較してどの程度の性能を示すか？
• RQ4 同じ視覚特徴を用いて、画像および文リtrievalタスクで最先端の結果を達成できるか？
• RQ5 キャプション尤度と視覚再構成誤差を組み合わせることで、単独で使用する場合よりもリtrieval性能が向上するか？

主な発見

• モデルは画像キャプション生成において最先端の結果を達成し、MS COCOデータセット上で19.8%の比較において生成キャプションの好みが人間が書いたものよりも上回った。
• PASCAL 1Kデータセットでは、画像キャプションタスクにおいてBLEUおよびMETEORの両指標でSOTA性能を達成した。
• 画像および文リtrievalタスクにおいて、従来の最先端手法と同等またはそれ以上の結果を達成した。特に、同じ視覚特徴（例：DECAF特徴）を用いた場合に顕著であった。
• リtrievalタスクにおいて、キャプション尤度と視覚再構成誤差の組み合わせ（T+I）は、単独で使用する場合よりも優れた性能を示し、再現率を向上させるとともに、中央順位および平均順位を低下させた。
• モデルは強力な双方向機能を示しており、同じアーキテクチャとパラメータを用いて、画像から新しいキャプションを生成し、記述から視覚特徴を再構成できる。
• 再帰的視覚メモリ機構により、モデルは長期的な視覚的表現を維持・更新でき、キャプション生成の整合性と正確性が向上した。