[論文レビュー] Identity-Aware Textual-Visual Matching with Latent Co-attention

Shuang Li, Tong Xiao+3 more|arXiv (Cornell University)|Aug 7, 2017

Multimodal Machine Learning Applications参考文献 33被引用数 36

ひとこと要約

本稿では、アイデンティティレベルのアノテーションを活用して特徴の識別性を向上させる、2段階のアイデンティティに配慮したフレームワークを提案する。1段階目では、CNN-LSTMと新規のクロスモーダルクロスエントロピー（CMCE）損失を用いて、画像とテキストを埋め込み、同一アイデンティティ内での距離を最小化する。2段階目では、語を画像領域にアライメントさせ、文構造のばらつきを軽減するための潜在的共注意力機構を適用し、CUBおよびFlowersデータセットで最先端の性能を達成した。テキストから画像への検索においてAP@50が57.6%に達した。

ABSTRACT

Textual-visual matching aims at measuring similarities between sentence descriptions and images. Most existing methods tackle this problem without effectively utilizing identity-level annotations. In this paper, we propose an identity-aware two-stage framework for the textual-visual matching problem. Our stage-1 CNN-LSTM network learns to embed cross-modal features with a novel Cross-Modal Cross-Entropy (CMCE) loss. The stage-1 network is able to efficiently screen easy incorrect matchings and also provide initial training point for the stage-2 training. The stage-2 CNN-LSTM network refines the matching results with a latent co-attention mechanism. The spatial attention relates each word with corresponding image regions while the latent semantic attention aligns different sentence structures to make the matching results more robust to sentence structure variations. Extensive experiments on three datasets with identity-level annotations show that our framework outperforms state-of-the-art approaches by large margins.

研究の動機と目的

• ベンチマークデータセットにおけるアイデンティティレベルのアノテーションを無視する既存のテキスト視覚マッチング手法の限界を解消すること。
• クロスマodal埋め込み全体において、同一アイデンティティ内での特徴距離を最小化し、異アイデンティティ間での距離を最大化することで、特徴の識別性を向上させること。
• 明示的な文法解析に依存せずに、文構造のばらつきがテキスト表現に与える影響を軽減すること。
• 効率的な誤マッチングのスクリーニングと共注意力による精緻化を可能にする2段階のディープラーニングフレームワークの開発。
• アイデンティティに配慮した学習を用いて、画像からテキストおよびテキストから画像への検索で最先端の性能を達成すること。

提案手法

• 2段階のCNN-LSTMアーキテクチャを提案：段階1は、動的特徴バッファを用いた新規のクロスモーダルクロスエントロピー（CMCE）損失を用いて、アイデンティティに配慮したクロスマodal埋め込みを学習する。
• CMCE損失は、全データセット上で同一アイデンティティ内での特徴距離を暗黙的に最小化し、異アイデンティティ間での距離を最大化することで、三重項損失やペairワイズ損失におけるハードネガティブサンプリングの確率低下を回避する。
• 段階1は初期マッチング結果を提供し、段階2の訓練の初期化点として機能し、容易な誤ったペアを効率的にフィルタリングする。
• 段階2では、密に結合されたCNN-LSTMに潜在的共注意力機構を採用し、空間的注意力（語から画像領域へのアライメント）と潜在的意味的注意力（アライメントデコーダLSTMを介した文構造の不変性）を同時に学習する。
• 潜在的意味的注意力モジュールは、各LSTMステップで語特徴を動的に再重み付けすることで、文構造のばらつきへの感受性を低減する。
• 段階2のネットワークは、最終的なテキスト視覚マッチング信頼度を予測するため、バイナリクロスエントロピー損失で訓練される。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティレベルのアノテーションは、テキスト視覚マッチングにおけるクロスマodal特徴表現の向上に効果的に活用可能か？
• RQ2 CMCE損失と共注意力を組み合わせた2段階の訓練フレームワークは、エンドツーエンドまたは単一段階の手法よりも優れた性能を示すか？
• RQ3 潜在的共注意力は、マッチング精度に与える文構造のばらつきの影響をどの程度軽減できるか？
• RQ4 ハードネガティブサンプリングと収束速度の観点から、提案されたCMCE損失は三重項損失やペアワイズ損失と比較してどのように優れているか？
• RQ5 段階1のネットワークは、段階2の精緻化のための効果的な初期化およびスクリーニング機構として機能できるか？

主な発見

• 提案手法は、CUBデータセットにおけるテキストから画像への検索でAP@50が57.6%を達成し、以前のSOTAをこの指標で10%以上上回った。
• Flowersデータセットでは、テキストから画像への検索でAP@50が70.1%に達し、三重項損失ベースライン（AP@50が3.1%低下）を著しく上回った。
• 段階1のネットワーク単体でも、CUBにおける画像からテキストへの検索でトップ1正答率61.5%を達成し、Word CNN-RNNを含むすべての先行ベースラインを上回った。
• CUBデータセットにおいて、段階2のネットワークは段階1と比較してテキストから画像へのAP@50を12.1ポイント向上させ、共注意力による精緻化の有効性を示した。
• 定性的な結果から、モデルは同一アイデンティティの複数の画像を正しく検索し、同一アイデンティティ内距離を最小化するとともに、視覚的に類似したが誤ったマッチングを正しく除外していることが確認された。
• アブレーションスタディにより、CMCE損失および潜在的共注意力機構の両方が性能向上に顕著に寄与しており、特に文構造のばらつきへの対処において共注意力機構が顕著に有効であることが確認された。