[論文レビュー] Explain Images with Multimodal Recurrent Neural Networks

Junhua Mao, Wei Xu+3 more|arXiv (Cornell University)|Oct 4, 2014

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 369

ひとこと要約

本論文は、画像と文の生成を統合的にモデル化するマルチモーダル再帰ニューラルネットワーク（m-RNN）を提案する。m-RNNは、画像からの深層畳み込み特徴と再帰的言語モデリングを融合し、IAPR TC-12、Flickr 8K、Flickr 30Kのデータセットにおいて、画像キャプション生成およびクロスモーダル検索の分野で最先端の性能を達成した。

ABSTRACT

In this paper, we present a multimodal Recurrent Neural Network (m-RNN) model for generating novel sentence descriptions to explain the content of images. It directly models the probability distribution of generating a word given previous words and the image. Image descriptions are generated by sampling from this distribution. The model consists of two sub-networks: a deep recurrent neural network for sentences and a deep convolutional network for images. These two sub-networks interact with each other in a multimodal layer to form the whole m-RNN model. The effectiveness of our model is validated on three benchmark datasets (IAPR TC-12, Flickr 8K, and Flickr 30K). Our model outperforms the state-of-the-art generative method. In addition, the m-RNN model can be applied to retrieval tasks for retrieving images or sentences, and achieves significant performance improvement over the state-of-the-art methods which directly optimize the ranking objective function for retrieval.

研究の動機と目的

• 画像の自然言語記述を生成し、画像-文検索を支援する統合的なディープラーニングフレームワークの開発を目的とする。
• 学習データに存在しない新しい画像構成について記述できない、検索ベースの手法の限界を克服することを目的とする。
• マルチモーダル再帰アーキテクチャを用いて、深層畳み込みニューラルネットワーク（CNN）から得た視覚的特徴と、順序付き言語モデリングを統合することを目的とする。
• 周囲の言語的文脈と画像全体の内容に基づいて単語生成を制御できる、マルチモーダル融合層の設計を目的とする。
• Perplexityに基づく目的関数を用いて、画像キャプション生成とクロスモーダル検索の両方を同時に最適化することを目的とする。
• 多様なベンチマークデータセットへの適用を通じて、モデルの一般化能力と拡張性を示すことを目的とする。

提案手法

• m-RNNモデルは、3つのコンponentから構成される：画像特徴抽出のための深層畳み込みニューラルネットワーク（CNN）、言語モデリングのための再帰ニューラルネットワーク（RNN）、視覚的および言語的表現を統合するマルチモーダル融合層。
• マルチモーダル層により、画像特徴とRNNの隠れ状態との間で相互作用が可能となり、モデルが以前の単語と画像全体の内容の両方に条件づけた単語生成が可能になる。
• モデルは、画像が与えられたもとでの正解キャプションの尤度を最大化するPerplexityに基づく損失関数を用いて、エンドツーエンドで訓練される。
• 時間軸に沿った誤差逆伝播と、モダリティ間の誤差逆伝播により、CNN、RNN、およびマルチモーダル融合の重みが同時に更新される。
• RNNの隠れ状態により、固定コンテキストモデル（例：Log-Bilinear）とは異なり、任意長のコンテキストをサポートする。
• モデルは、BLEUおよびPerplexityを用いた画像キャプション評価、およびR@Kおよび中央順位（median rank）を用いたクロスモーダル検索評価の両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 分離されたモデルとは対照的に、統合的なマルチモーダルRNNアーキテクチャは、画像キャプション生成とクロスモーダル検索の両方の性能を向上させることができるか？
• RQ2 言語文脈の再帰的モデリングを組み込むことで、固定コンテキストまたは非再帰的モデルに比べ、キャプション生成が向上するか？
• RQ3 m-RNNモデルは、学習データに存在しない未観測の画像構成に対しても、新しい記述的キャプションを生成できるか？
• RQ4 m-RNNは、IAPR TC-12、Flickr 8K、Flickr 30Kといった標準ベンチマークで、キャプション生成および検索の両タスクにおいて、どのように性能を発揮するか？
• RQ5 今後の拡張において、より高度な画像特徴（例：オブジェクト検出特徴）を用いることで、モデルはどの程度利益を得られるか？

主な発見

• IAPR TC-12データセットでは、m-RNNは画像から文への検索で20.9%のR@1、文から画像への検索で13.2%のR@1を達成し、ベースライン手法を顕著に上回った。
• Flickr 8Kでは、画像から文への検索で14.5%のR@1、文から画像への検索で11.5%のR@1を達成し、DeepFE-decaf や Socher-decaf といったSOTA手法を上回った。
• Flickr 30Kでは、画像から文への検索で18.4%のR@1、文から画像への検索で12.6%のR@1を達成し、DeViSE-avg-rcnn や DeepFE-rcnn を上回った。
• 画像キャプション生成において、m-RNNはFlickr 8KでPerplexity 24.39、Flickr 30Kで35.11を達成し、RNNベースライン（30.39および43.96）よりも顕著に低く、より優れた言語モデリングを示した。
• BLEUスコアについても高い値を達成した：Flickr 8KではB-1が0.5778、B-2が0.2751、B-3が0.2307であり、ベースラインRNNの0.4383、0.1849、0.1339を上回った。
• モデルは、未学習の画像構成に対しても、一貫性があり文脈的に関連するキャプションを生成するという、強固な一般化能力を示した。定性的な例からもその有効性が確認された。