[論文レビュー] Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)

Junhua Mao, Wei Xu+4 more|arXiv (Cornell University)|Dec 20, 2014

Multimodal Machine Learning Applications参考文献 39被引用数 649

ひとこと要約

本論文は、画像に対して畳み込みニューラルネットワーク（CNN）を、文書に対して再帰的ニューラルネットワーク（RNN）を用いて、画像と文の表現を統合的にモデル化するマルチモーダル再帰ニューラルネットワーク（m-RNN）を提案する。マルチモーダル融合層により、エンド・トゥ・エンドの学習が可能となり、4つのベンチマークデータセットにおいて、画像キャプション生成およびリtrievalタスクで最先端の性能を達成し、生成精度およびリtrieval精度の両面で、先行手法を顕著に上回る。

ABSTRACT

In this paper, we present a multimodal Recurrent Neural Network (m-RNN) model for generating novel image captions. It directly models the probability distribution of generating a word given previous words and an image. Image captions are generated by sampling from this distribution. The model consists of two sub-networks: a deep recurrent neural network for sentences and a deep convolutional network for images. These two sub-networks interact with each other in a multimodal layer to form the whole m-RNN model. The effectiveness of our model is validated on four benchmark datasets (IAPR TC-12, Flickr 8K, Flickr 30K and MS COCO). Our model outperforms the state-of-the-art methods. In addition, we apply the m-RNN model to retrieval tasks for retrieving images or sentences, and achieves significant performance improvement over the state-of-the-art methods which directly optimize the ranking objective function for retrieval. The project page of this work is: www.stat.ucla.edu/~junhua.mao/m-RNN.html .

研究の動機と目的

• リtrievalベースの手法を越えた、画像に対して新規で記述的なキャプションを生成する統合的ディープラーニングフレームワークの開発。
• 視覚的および言語的特徴を共有埋め込み空間で統合的にモデル化することで、画像および文のリtrieval性能の向上。
• 空間的な視覚的文脈と順序的な言語的構造を両方とも捉えるマルチモーダルシステムのエンド・トゥ・エンド学習の実現。
• m-RNNモデルの多様なベンチマークデータセットにおけるキャプション生成およびリtrievalタスクへの有効性の実証。
• 後処理技術としてのコンSENSUSリランクの検討により、キャプション品質のさらなる向上。

提案手法

• m-RNNモデルは、画像特徴抽出に深層CNN（VGG-16）と、文書モデリングに単語埋め込みを用いた深層RNNを統合する。
• マルチモーダル融合層は、視覚的表現と隠れ言語表現を統合的に共有セマンティック空間に投影することで統合する。
• エンド・トゥ・エンドの学習は、画像を入力とした真のキャプションの尤度を最大化する対数尤度目的関数を用いて実施する。
• 時間方向の誤差逆伝播（backpropagation through time）と畳み込み層の勾配を用いることで、ネットワークのすべてのコンponentが同時に最適化される。
• 生成後処理として、訓練データセットからの最近傍キャプションを用いてコンセンサスリランクを適用し、キャプション品質を向上させる。
• リランクの際には、生成された仮説とk個の最近傍の参照キャプションとの間の文書類似度を、BLEUまたはCIDErスコアで計算する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルRNNアーキテクチャは、視覚的および言語的シーケンスを統合的にモデル化し、新規かつ正確な画像キャプションを生成できるか？
• RQ2 m-RNNモデルは、リtrievalベースの手法と比較して、キャプション生成の質および多様性においてどのように優れているか？
• RQ3 m-RNNモデルは、最先端の埋め込みベース手法と比較して、画像および文のリtrieval性能をどの程度向上できるか？
• RQ4 最近傍キャプションを用いたコンセンサスリランクは、生成キャプションの品質をさらに向上させられるか？
• RQ5 m-RNNから得られる洗練された画像特徴を組み込むことで、下流のキャプション生成およびリtrieval性能にどのような影響を与えるか？

主な発見

• m-RNNモデルは、IAPR TC-12、Flickr 8K、Flickr 30K、MS COCOの各データセットにおいて、画像キャプション生成で最先端の性能を達成した。
• MS COCOの検証セットでは、m-RNNモデルがCIDErスコア0.842を達成し、以前の手法を顕著に上回った。
• 最近傍キャプションを用いたコンセンサスリランクを適用した後、MS COCOの検証セットではCIDErスコアが0.938に向上し、テストサーバーでは0.917に達した。
• コンセンサスリランク適用後、検証セットではBLEU-4スコアが3.5ポイント向上し、テストセットでは3.3ポイント向上した。
• オラクルリランク性能（真のキャプションを用いた場合）は、検証セットでCIDErスコア1.272に達し、さらなる向上の余地が大きいことが示された。
• m-RNNモデルから得られる洗練された画像特徴は、元のVGG-16特徴が失敗するような状況（例：バナナを正しく特定できない状況）でも、より正確な視覚的意味を捉えている。