[論文レビュー] Cross-Modal Retrieval with Implicit Concept Association

Yale Song, Mohammad Soleymani|arXiv (Cornell University)|Apr 12, 2018

Multimodal Machine Learning Applications参考文献 37被引用数 8

ひとこと要約

本論文は、感情反応のGIFにおけるような、明示的に述べられていないが意味的関連性が存在するテキストと視覚的コンテンツ間の暗黙的コンセプト連関を伴うクロスマodalリtrievalを提案する。著者らは、複数のインスタンス学習（MIL）に基づく視覚的・意味的埋め込みネットワーク（MiViSE）を提案し、各モodalごとに複数のコンセプト固有の埋め込みを生成し、すべての組み合わせ間の類似度を計算する。この手法は、47Kの反応GIFと文の新しいデータセット（MRW）において最先端の性能を達成し、Corr-AE や DeViSE などの手法を上回った。

ABSTRACT

Traditional cross-modal retrieval assumes explicit association of concepts across modalities, where there is no ambiguity in how the concepts are linked to each other, e.g., when we do the image search with a query "dogs", we expect to see dog images. In this paper, we consider a different setting for cross-modal retrieval where data from different modalities are implicitly linked via concepts that must be inferred by high-level reasoning; we call this setting implicit concept association. To foster future research in this setting, we present a new dataset containing 47K pairs of animated GIFs and sentences crawled from the web, in which the GIFs depict physical or emotional reactions to the scenarios described in the text (called "reaction GIFs"). We report on a user study showing that, despite the presence of implicit concept association, humans are able to identify video-sentence pairs with matching concepts, suggesting the feasibility of our task. Furthermore, we propose a novel visual-semantic embedding network based on multiple instance learning. Unlike traditional approaches, we compute multiple embeddings from each modality, each representing different concepts, and measure their similarity by considering all possible combinations of visual-semantic embeddings in the framework of multiple instance learning. We evaluate our approach on two video-sentence datasets with explicit and implicit concept association and report competitive results compared to existing approaches on cross-modal retrieval.

研究の動機と目的

• テキストと視覚的コンテンツ間の意味的関連性が明示的ではなく、高レベルの推論を要する状況におけるクロスマodalリtrievalを解決すること。
• 47KのアニメーションGIFと自然言語文のペアを含む、新たなベンチマークデータセット「MRW（My Reaction When）」を提供すること。
• 各モダリティから複数の暗黙的コンセプトを捉え、それらの類似度を複数インスタンス学習を通じて測定できる、新しい視覚的・意味的埋め込みモデルを開発すること。
• 人間が暗黙的関連性を伴うテキスト-GIFペアを信頼性を持って特定できることを実証し、提案されたタスクの妥当性を検証すること。

提案手法

• 各モダリティから複数の埋め込みを生成し、それらすべての組み合わせ間の類似度を計算する、複数インスタンス学習（MIL）に基づく視覚的・意味的埋め込みネットワーク（MiViSE）を提案する。
• 自己注意メカニズムを用いて各モダリティごとに複数の埋め込みを生成し、それぞれが入力シーケンスの異なる部分に注目することで、異なる暗黙的コンセプトを捉える。
• 共有重みを有するシアン・ネットワークアーキテクチャを用い、テキストおよび動画入力を共通の埋め込み空間に埋め込み、コサイン類似度による比較を可能にする。
• 対照的損失を用いて学習し、一致するテキスト-GIFペア間の距離を最小化し、一致しないペア間の距離を最大化する。
• 事前学習済み特徴を活用：動画フレームにはResNet-50、テキストシーケンスにはGloVe埋め込みとBi-LSTMを用いる。
• 注意マップを導入し、どの語または動画フレームがマッチング意思決定に最も寄与しているかを可視化することで、解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 意味的関連性が暗黙的で高レベルの推論を要する状況において、人間は信頼性を持って一致するテキスト-GIFペアを特定できるか？
• RQ2 複数の埋め込みとMILを用いた提案されたMiViSEモデルは、暗黙的関連性下でのクロスマodalリtrievalにおいて、従来の相関ベースおよびトリプレットランク手法と比較してどのように性能を発揮するか？
• RQ3 複数の埋め込みと注意メカニズムは、暗黙的コンセプト検索におけるアライメントと性能向上にどのような役割を果たすか？
• RQ4 モデルは、感情的・身体的・語彙的反応GIFなど、さまざまなタイプの反応GIFに対してどれほど一般化できるか？
• RQ5 明示的および暗黙的コンセプト関連性を併せ持つデータセットにおいて、モデルの性能はどの程度で、その成功要因は何か？

主な発見

• ユーザースタディにより、人間が暗黙的関連性を伴うテキスト-GIFペアを識別できることが確認された。誤検出率は50.7%であったが、タスクの妥当性が裏付けられた。
• 提案されたMiViSEモデルは、明示的関連性（TGIF）および暗黙的関連性（MRW）の両データセットにおいて、Corr-AE、DCCA、DeViSE などのベースライン手法を上回った。
• 各モダリティに複数の埋め込みを用いることで性能が著しく向上したことが、注意マップによる可視化で裏付けられた。異なる埋め込みでは、異なる語や視覚フレームに注目していることが明らかになった。
• 注意の可視化により、異なる埋め込みが、動画の文脈に応じて異なる暗黙的コンセプト（例：「不快感」と「愛情」）を捉えていることが分かった。
• モデルは、感情的・身体的・動物・語彙的反応など多様な反応タイプに対し、頑健に動作し、注意マップがテキストおよび動画の意味的コンテンツに適応していることが示された。
• 除去実験により、複数の埋め込みとMILフレームワークの両方が性能向上に不可欠であることが判明。各コンポONENTは独立して最終結果に寄与していた。