[論文レビュー] Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval

Yale Song, Mohammad Soleymani|arXiv (Cornell University)|Jun 11, 2019

Multimodal Machine Learning Applications参考文献 57被引用数 22

ひとこと要約

本稿では、マルチヘッド自己注意機構とリーマン学習を用いて、曖昧な視覚的・言語的インスタンスの多様で文脈に適した表現を生成する、1対多のインスタンス埋め込みフレームワークであるPolysemous Visual-Semantic Embedding (PVSE) を提案する。2つのPolysemous Instance Embedding Networks (PIE-Nets) をMultiple-Instance Learning (MIL) フレームワークで結合し、Maximum Mean Discrepancy (MMD) で正則化することで、部分的関連性や多義性に対しても耐性があり、MS-COCO、TGIF、および新しい50Kのビデオ文書データセット（MRW）において、画像・文書検索および動画・文書検索の分野で最先端の性能を達成する。

ABSTRACT

Visual-semantic embedding aims to find a shared latent space where related visual and textual instances are close to each other. Most current methods learn injective embedding functions that map an instance to a single point in the shared space. Unfortunately, injective embedding cannot effectively handle polysemous instances with multiple possible meanings; at best, it would find an average representation of different meanings. This hinders its use in real-world scenarios where individual instances and their cross-modal associations are often ambiguous. In this work, we introduce Polysemous Instance Embedding Networks (PIE-Nets) that compute multiple and diverse representations of an instance by combining global context with locally-guided features via multi-head self-attention and residual learning. To learn visual-semantic embedding, we tie-up two PIE-Nets and optimize them jointly in the multiple instance learning framework. Most existing work on cross-modal retrieval focuses on image-text data. Here, we also tackle a more challenging case of video-text retrieval. To facilitate further research in video-text retrieval, we release a new dataset of 50K video-sentence pairs collected from social media, dubbed MRW (my reaction when). We demonstrate our approach on both image-text and video-text retrieval scenarios using MS-COCO, TGIF, and our new MRW dataset.

研究の動機と目的

• 多義的インスタンスに複数の意味が存在する状況を扱う際、単射的ビジュアル・セマンティック埋め込みの限界を解消すること。
• 文書の記述が画像や動画の一部しか指していないような部分的クロスモーダル関連性の課題を克服すること。
• 1つのインスタンスに対して複数の多様な表現を生成する手法を開発し、曖昧な意味をよりよく捉えること。
• 不確実性や部分的整合性をモデル化することで、画像・文書検索および動画・文書検索の両タスクにおける検索性能を向上させること。
• ソーシャルメディアから収集した新しい50Kのビデオ文書ペアデータセット（MRW）を公開することで、動画・文書検索分野の研究を促進すること。

提案手法

• マルチヘッド自己注意機構を用いて、異なる局所領域やフレームに注目することで、1入力あたりK個の多様な表現を生成するPolysemous Instance Embedding Networks (PIE-Nets) を提案する。
• 局所表現とグローバルコンテキスト埋め込みをリーマン学習により結合することで、情報量の多い特徴を保持し、重複を回避する。
• K個の表現が単一の平均値やモードに収束するのを防ぐために、多様性正則化損失を導入する。
• 視覚用と言語用の2つのPIE-Netsを結合し、1つのK×K埋め込みペアが適切に整合されていればよいMultiple-Instance Learning (MIL) フレームワークで同時に学習する。
• 視覚的および言語的埋め込み空間間の分布的差異を最小化するために、Maximum Mean Discrepancy (MMD) を適用し、整合性の耐性を向上させる。
• MIL緩和とMMD正則化を組み合わせた対照的損失を用いて、エンドツーエンドでモデル全体を最適化し、曖昧な関連性や部分的関連性に対処する。

実験結果

リサーチクエスチョン

• RQ1 従来の単射マッピングに比べて、1対多の埋め込みアプローチは、多義的な視覚的・言語的インスタンスをよりよく表現できるか？
• RQ2 複数の多様な表現をモデル化することで、部分的または暗黙的なクロスモーダル関連性下でも、クロスモーダル検索性能がどのように向上するか？
• RQ3 提案されたMILベースの学習目的は、曖昧な検索シナリオにおいて、標準的な対照的学習をどれほど上回るか？
• RQ4 マルチヘッド自己注意機構とリーマン学習の統合は、ビジュアル・セマンティック埋め込みにおける表現品質をどのように向上させるか？
• RQ5 提案手法は、関連性が暗黙的または曖昧な場合にも、困難な動画・文書検索タスクに一般化可能か？

主な発見

• MS-COCOデータセットを用いた画像・文書検索において、PVSEはR@1およびR@5の両指標で、先行手法を上回る最先端の性能を達成した。
• TGIF動画・文書検索ベンチマークでは、PVSEが動画コンテンツの時間的・意味的変化を効果的に捉えることができ、優れた性能を示した。
• ソーシャルメディアから収集した50Kのビデオ文書ペアで構成されるMRWデータセットは、視覚的・言語的関連性に高い曖昧性を示しており、1つのクエリに対して複数の妥当なマッチングが存在することが明らかになった。
• 定性的な分析から、PVSEの視覚的および言語的アテンションマップは顕著な領域や語を強調しており、検索結果がアテンションパターンと整合していることが確認された。
• 部分的関連性に対しても耐性があることが実証され、動画や文書の一部が意味的に整合されていても、関連する結果を正しく検索できることを示した。
• MMD正則化を用いることで、視覚的および言語的埋め込み空間間の分布的差異が顕著に減少し、一般化性能および整合性品質が向上した。