[論文レビュー] AMC: Attention guided Multi-modal Correlation Learning for Image Search

Kan Chen, Trung Bui+3 more|arXiv (Cornell University)|Apr 3, 2017

Multimodal Machine Learning Applications参考文献 34被引用数 15

ひとこと要約

本稿では、視覚的および言語的モダリティを同時にモデル化し、内部および相互注意ネットワークを用いて関連する特徴を適応的に重み付けすることで、画像検索のための注目誘導型マルチモーダル相関学習フレームワークであるAMCを提案する。この手法は、実世界の画像検索データセットにおいて顕著な性能向上を達成し、画像キャプションランク付けにおいても最先端のモデルを上回る結果を示しており、複雑な言語モデルを用いないにもかかわらず、Recall@10において優れた性能を発揮する。

ABSTRACT

Given a user's query, traditional image search systems rank images according to its relevance to a single modality (e.g., image content or surrounding text). Nowadays, an increasing number of images on the Internet are available with associated meta data in rich modalities (e.g., titles, keywords, tags, etc.), which can be exploited for better similarity measure with queries. In this paper, we leverage visual and textual modalities for image search by learning their correlation with input query. According to the intent of query, attention mechanism can be introduced to adaptively balance the importance of different modalities. We propose a novel Attention guided Multi-modal Correlation (AMC) learning method which consists of a jointly learned hierarchy of intra and inter-attention networks. Conditioned on query's intent, intra-attention networks (i.e., visual intra-attention network and language intra-attention network) attend on informative parts within each modality; a multi-modal inter-attention network promotes the importance of the most query-relevant modalities. In experiments, we evaluate AMC models on the search logs from two real world image search engines and show a significant boost on the ranking of user-clicked images in search results. Additionally, we extend AMC models to caption ranking task on COCO dataset and achieve competitive results compared with recent state-of-the-arts.

研究の動機と目的

• 単一モダリティのマッチングを超えて、視覚的コンテンツ、キーワード、タグなどの複数の画像関連モダリティを活用することで、画像検索の関連性を向上させること。
• クエリの意図のばらつきに応じて、各モダリティ内の情報の有用な部分を動的に選択し、モダリティ間のバランスを適切に調整すること。
• 人間によるカスタマイズされたデータと、ノイズを含む可能性のある機械生成データ（例：自動タグ付け）を統合できるスケーラブルなフレームワークを構築し、頑健な類似度学習を実現すること。
• 実世界の検索ログに対して有効性を示し、画像キャプションランク付けなどの関連タスクへの汎用性を実証すること。

提案手法

• AMCフレームワークは、クエリに従った注目マップを生成する視覚的内部注意ネットワーク（VAN）を採用し、関連する画像領域に注目する。
• 言語的内部注意ネットワーク（LAN）は、テキストモダリティにおけるクエリと個々の語の間の双線形類似度を学習し、関連するキーワードを強調する。
• マルチモーダル相互注意ネットワーク（MTN）は、クエリの意図に応じて、異なるモダリティの寄与度を適応的にバランスさせ、最も関連性の高いモダリティを強調する。
• 最終的な相関スコアは、共有されるAMC空間におけるクエリ埋め込みとマルチモーダル埋め込みとの間のコサイン距離として計算される。
• ランキング性能の向上を図るため、ハードネガティブマイニングを用いたマージンベースの対照的損失関数でモデルを訓練する。
• フレームワークは、ラテントフィュージョニングおよび注目に基づくフィュージョニングをサポートしており、任意の数の画像関連モダリティの統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 クエリ固有の意図に適応する注目メカニズムは、画像検索におけるマルチモーダル相関学習を向上させることができるか？
• RQ2 内部注意ネットワークは、視覚的および言語的モダリティ内での不要な情報をどれほど効果的にフィルタリングできるか？
• RQ3 固定フィュージョントラットメントと比較して、モダリティ間の相互注意は、ランキング性能をどの程度向上させるか？
• RQ4 自動タグ付けされたキーワードなどのノイズを含む機械生成メタデータを含む実世界の検索ログにも、AMCは汎用性を示せるか？
• RQ5 最先端のモデルと比較して、AMCは画像キャプションランク付けなどの下流タスクでどの程度の性能を発揮するか？

主な発見

• AMCは、COCOデータセットを用いた画像キャプションランク付けタスクにおいて、ベースラインのラテントフィュージョントラットメントモデルと比較して、Recall@1で3.5%の絶対的向上を達成した。
• AMC-Resモデルは、CICベンチマークで41.4%のRecall@1、75.1%のRecall@5、87.8%のRecall@10を達成し、Recall@10において最先端の性能を上回った。
• AMCモデルは、クリックターサーチとAdobe Stockという2つの実世界の画像検索データセットにおいて顕著な向上を示し、カスタマイズ済みデータおよび自動タグ付けデータの両方で有効性を確認した。
• VGGおよびResNetといった異なる画像特徴抽出器を用いても、性能向上が一貫して得られたことから、モデルの頑健性とスケーラビリティが裏付けられた。
• 単純なスイッチバックベースのキャプション表現（Skip-thoughtベクトル）でさえも、競争力のある結果を達成したため、より高度な言語モデルと組み合わせた場合の強力な潜在的性能が示唆された。