[論文レビュー] Modality-specific Cross-modal Similarity Measurement with Recurrent Attention Network

Yuxin Peng, Jinwei Qi+1 more|arXiv (Cornell University)|Aug 16, 2017

Multimodal Machine Learning Applications参考文献 42被引用数 3

ひとこと要約

本稿では、共通表現を明示的に必要とせず、エンド・ツー・エンドの学習を可能にする、再帰的アテンションネットワークを用いたモダリティ固有のクロスマダル類似度測定（MCSM）手法を提案する。モダリティ固有の意味空間と適応的統合を活用することで、Wikipedia、Pascal Sentence、著者らのXMediaNetデータセットの3つのベンチマークで9つの最先端手法を上回り、モダリティ間の不均衡で補完的な関係を効果的に捉える能力を示した。

ABSTRACT

Nowadays, cross-modal retrieval plays an indispensable role to flexibly find information across different modalities of data. Effectively measuring the similarity between different modalities of data is the key of cross-modal retrieval. Different modalities such as image and text have imbalanced and complementary relationships, which contain unequal amount of information when describing the same semantics. For example, images often contain more details that cannot be demonstrated by textual descriptions and vice versa. Existing works based on Deep Neural Network (DNN) mostly construct one common space for different modalities to find the latent alignments between them, which lose their exclusive modality-specific characteristics. Different from the existing works, we propose modality-specific cross-modal similarity measurement (MCSM) approach by constructing independent semantic space for each modality, which adopts end-to-end framework to directly generate modality-specific cross-modal similarity without explicit common representation. For each semantic space, modality-specific characteristics within one modality are fully exploited by recurrent attention network, while the data of another modality is projected into this space with attention based joint embedding to utilize the learned attention weights for guiding the fine-grained cross-modal correlation learning, which can capture the imbalanced and complementary relationships between different modalities. Finally, the complementarity between the semantic spaces for different modalities is explored by adaptive fusion of the modality-specific cross-modal similarities to perform cross-modal retrieval. Experiments on the widely-used Wikipedia and Pascal Sentence datasets as well as our constructed large-scale XMediaNet dataset verify the effectiveness of our proposed approach, outperforming 9 state-of-the-art methods.

研究の動機と目的

• 異なるモダリティを一つの共通空間に投影する従来のクロスマダル検索手法の限界を解消する。これは、モダリティ固有の特徴を損なう。
• 画像にテキストに記載されていない詳細が含まれるなど、モダリティ間の不均衡で補完的な性質を、各モダリティに独立した意味空間を構築することでモデル化する。
• 明示的な共通表現を必要とせず、統一フレームワークにより直接モダリティ固有の類似度を生成することで、エンド・ツー・エンドのクロスマダル類似度学習を可能にする。
• モダリティ固有の意味空間の補完性を適応的統合により活用し、検索精度を向上させる。

提案手法

• クロスマダル相関学習中にモダリティ固有の特徴を保持するため、各モダリティ（例：画像とテキスト）に独立した意味空間を構築する。
• アテンション重みを用いてクロスマダル表現をアライメントする、アテンションベースの共同埋め込み損失を備えた再帰的アテンションネットワークを採用し、モダリティ内依存性をモデル化する。
• アテンションベースの共同埋め込みを用いて、一方のモダリティのデータを他方の意味空間に投影することで、モダリティ固有の特徴を保持したまま微細な相関学習を可能にする。
• 明示的な共通表現を必要とせず、エンド・ツー・エンドのフレームワークにより直接モダリティ固有のクロスマダル類似度を生成する。
• 両意味空間からの類似度を適応的統合し、モダリティ固有の関連性に基づいて寄与度を動的に重み付ける。
• モダリティ固有の表現学習とクロスマダル類似度学習の両方を統合したジョイント損失関数を用いて、ネットワーク全体を最適化する。

実験結果

リサーチクエスチョン

• RQ1 画像にテキストに記載されていない詳細が含まれるなど、モダリティ間に不均衡で補完的な情報が存在する場合、どのように効果的にクロスマダル類似度を測定できるか？
• RQ2 各モダリティに独立した意味空間を構築することで、共有共通空間よりもモダリティ固有の特徴をより良く保持できるか？
• RQ3 モダリティ固有の類似度を適応的統合することで、単純平均やラテント統合と比較してクロスマダル検索性能が向上するか？
• RQ4 提案手法は、多様なクロスマダル検索ベンチマークで最先端手法を上回るか？

主な発見

• Wikipediaデータセットでは、提案手法MCSMはmAP 0.598を達成し、次に優れた手法と比べて顕著な優位性を示した。
• Pascal Sentenceデータセットでは、MCSMはmAP 0.598を達成し、2番目に優れた手法より0.019高いmAPを記録した。
• 大規模なXMediaNetデータセットでは、MCSMはmAP 0.545を達成し、優れた汎化性能とスケーラビリティを示した。
• アブレーションスタディの結果、オブジェクトレベルの意味を持つデータセット（例：Pascal SentenceやXMediaNet）ではMCSM-imageがMCSM-textを上回ったが、高レベルの意味を持つデータセット（例：Wikipedia）ではMCSM-textが優れた性能を示した。これは、モダリティ情報の不均衡性を裏付けた。
• 適応的統合は、常にラテント統合（MCSM-LF）を上回る性能を発揮し、意味空間間の補完性を効果的に捉えていることを実証した。
• 提案手法は、3つのデータセットすべてで9つの最先端手法を上回り、クロスマダル検索における有効性と頑健性を検証した。