[論文レビュー] Learning Semantic Concepts and Order for Image and Sentence Matching

Yan Huang, Qi Wu+1 more|arXiv (Cornell University)|Dec 6, 2017

Multimodal Machine Learning Applications参考文献 28被引用数 25

ひとこと要約

本論文では、高レベルの意味的コンセププト（例：物体、性質、行動）とその正しい意味的順序を同時に学習することで、画像表現を向上させる意味的強化型画像・文脈マッチングモデルを提案する。マルチリージョンマルチラベルCNNを用いたコンセプト検出と、文脈ゲート付き文生成方式による順序学習により、MSCOCOおよびFlickr30kベンチマークで最先端の性能を達成し、それぞれ42.8%および33.1%のトップ1画像検索精度を達成した。

ABSTRACT

Image and sentence matching has made great progress recently, but it remains challenging due to the large visual-semantic discrepancy. This mainly arises from that the representation of pixel-level image usually lacks of high-level semantic information as in its matched sentence. In this work, we propose a semantic-enhanced image and sentence matching model, which can improve the image representation by learning semantic concepts and then organizing them in a correct semantic order. Given an image, we first use a multi-regional multi-label CNN to predict its semantic concepts, including objects, properties, actions, etc. Then, considering that different orders of semantic concepts lead to diverse semantic meanings, we use a context-gated sentence generation scheme for semantic order learning. It simultaneously uses the image global context containing concept relations as reference and the groundtruth semantic order in the matched sentence as supervision. After obtaining the improved image representation, we learn the sentence representation with a conventional LSTM, and then jointly perform image and sentence matching and sentence generation for model learning. Extensive experiments demonstrate the effectiveness of our learned semantic concepts and order, by achieving the state-of-the-art results on two public benchmark datasets.

研究の動機と目的

• 画像と文のマッチングにおける視覚的・意味的乖離を是正するため、高レベルの意味的コンセププトを用いた画像表現の強化を目的とする。
• 正確なマッチングに不可欠なコンセプトの正しい意味的順序をモデル化することを目的とするが、既存手法ではしばしば無視されがちである。
• エンドツーエンド最適化を実現するため、画像・文マッチングと文生成を同時に学習することを目的とする。
• 領域ベースの特徴抽出により、前景および背景の両方のコンセププトを捉えることで、細分化されたマッチングを向上させることを目的とする。

提案手法

• 複数の画像領域から意味的コンセププト（物体、性質、行動）を予測するためにマルチリージョンマルチラベルCNNを用い、包括的なコンセプト検出を実現する。
• 予測された意味的コンセププトとグローバルな画像コンテキスト（空間的関係）を統合するゲート付き統合ユニットにより、文脈に配慮した画像表現を形成する。
• 正解の文の順序を教師として用い、文脈ゲート付き文生成モジュールがコンセプトの正しい意味的順序を学習する。
• 構造的マッチング目的関数と文生成目的関数を用いて、画像表現と文の表現をエンドツーエンドで最適化する。
• 意味的コンセププトとその順序構造を統合することで、画像表現を強化し、自然言語記述との整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの特徴を越えて、高レベルの意味的コンセププトをよりよく捉えるために、画像表現をどのように改善できるか？
• RQ2 視覚的・意味的乖離の低減に、意味的順序が果たす役割は何か？
• RQ3 画像・文マッチングと文生成の共同学習は、表現品質の向上に寄与するか？
• RQ4 提案された文脈ゲート付き生成方式は、画像コンテキストと正解文を用いて、正しい意味的順序を効果的に学習できるか？

主な発見

• 提案モデルはMSCOCOで42.8%のトップ1画像検索精度を達成し、従来の最先端手法を上回った。
• Flickr30kデータセットでは33.1%のトップ1検索精度を達成し、既存のアプローチよりも顕著な改善を示した。
• アブレーションスタディの結果、意味的コンセププトと順序学習の両方を組み込むことで、文の検索およびアノテーション性能が向上し、完全なモデルがアブレーションバージョンを上回った。
• MSCOCOでは40.2%の画像アノテーション精度を達成し、VSE++（32.9%）やOEM（23.3%）といった先行手法よりも顕著に優れていた。
• コンセプト検出にVGGNetを用いることで、ResNetよりも高い性能向上が得られた。これは、コンセプト検出における特徴品質が最終性能に強く影響することを示している。