[論文レビュー] Multimodal Convolutional Neural Networks for Matching Image and Sentence

Lin Ma, Zhengdong Lu+2 more|arXiv (Cornell University)|Apr 23, 2015

Multimodal Machine Learning Applications参考文献 43被引用数 58

ひとこと要約

この論文では、画像と文を畳み込みアーキテクチャを用いて、語、語句、文のレベルでマッチング関係をモデル化する、マルチモーダル畳み込みニューラルネットワーク（m-CNN）を提案する。この手法は、エンド・ツー・エンドの学習により階層的かつ相互に作用するモード間の関係を学習することで、Flickr30KおよびCOCOデータセットにおいて、双方向的画像・文検索タスクで最先端の性能を達成する。

ABSTRACT

In this paper, we propose multimodal convolutional neural networks (m-CNNs) for matching image and sentence. Our m-CNN provides an end-to-end framework with convolutional architectures to exploit image representation, word composition, and the matching relations between the two modalities. More specifically, it consists of one image CNN encoding the image content, and one matching CNN learning the joint representation of image and sentence. The matching CNN composes words to different semantic fragments and learns the inter-modal relations between image and the composed fragments at different levels, thus fully exploit the matching relations between image and sentence. Experimental results on benchmark databases of bidirectional image and sentence retrieval demonstrate that the proposed m-CNNs can effectively capture the information necessary for image and sentence matching. Specifically, our proposed m-CNNs for bidirectional image and sentence retrieval on Flickr30K and Microsoft COCO databases achieve the state-of-the-art performances.

研究の動機と目的

• 画像と自然言語文の間の複雑で多段階のマッチング関係をモデル化する課題に対処すること。
• 語、語句、文のレベルで同時にモード間の対応関係を捉えるエンド・ツー・エンドのディープラーニングフレームワークを構築すること。
• 文の断片の階層的構成とそれらが画像特徴とどのように相互作用するかを活用することで、双方向的画像・文検索の性能を向上させること。
• 畳み込みアーキテクチャが、グローバルな文表現を超えて、マルチモーダルマッチングを効果的にモデル化できることを示すこと。

提案手法

• m-CNNフレームワークは、画像コンテンツを符号化するための画像畳み込みニューラルネットワーク（CNN）と、画像と文の表現を統合的にモデル化するマッチングCNNから構成される。
• マッチングCNNは、スライディングウィンドウ畳み込みを用いて、語、語句、文の複数のレベルで語を意味的断片に合成し、画像領域と文の断片の間のモード間アテンションを学習する。
• モデルは、語レベルの特徴が畳み込み層を通じてより高レベルの意味的表現に組み合わされる階層的アーキテクチャを採用している。
• ペアド画像・文データ上でエンド・ツー・エンドの学習を実施し、意味的に整合するペア間のマッチングスコアを最適化する。
• m-CNNの複数の変種が導入されている：m-CNN_wd（語レベル）、m-CNN_st（文レベル）、m-CNN_phs/phl（語句レベル）、m-CNN_ENS（全レベルのアンサンブル）。
• 画像表現は事前学習済みモデル（OverFeatおよびVGG）を初期化に用い、VGGは特徴学習能力が優れているため、より優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークは、画像と文の間で語、語句、文のレベルの多段階マッチング関係を効果的にモデル化できるか？
• RQ2 文の断片の階層的構成を学習することで、グローバルな文表現に比べて画像・文マッチングの性能が向上するか？
• RQ3 語 vs. 語句 vs. 文のレベルのモード間相互作用が、検索精度にどのように寄与するか？
• RQ4 m-CNNは、既存の最先端モデルを上回る性能を、双方向的画像・文検索タスクで示せるか？

主な発見

• m-CNN_ENSアンサンブルモデルは、Flickr30KおよびCOCOデータセットの両方で、双方向的画像・文検索タスクにおいて最先端の性能を達成した。
• 画像検索では、m-CNN_ENSは、Deep Fragment、SDT-RNN、DVSAを含むすべてのベースラインモデルを顕著に上回った。
• 文検索では、COCOにおいてm-CNN_ENSが最良の性能を示し、中央順位（Med r）ではDVSAに次いで2番目に優れており、優れた一般化性能を示した。
• m-CNN_st（文レベル表現をモデル化）は、他のm-CNN変種よりも一貫して優れた性能を示し、グローバルな文表現の重要性を裏付けた。
• VGGで初期化されたm-CNNは、OverFeatを使用したモデルに比べて大幅に優れた性能を示し、画像特徴の質の重要性を強調した。
• アブレーションスタディの結果、m-CNNは自然な順序で語を組み合わせて意味的断片を生成できることを確認した。文の語をランダムにシャッフルすると、マッチングスコアが著しく低下した。