[論文レビュー] Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search

Jing Ge, Guangyu Gao+1 more|arXiv (Cornell University)|Dec 6, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 10

ひとこと要約

本稿では、視覚的・言語的特徴の対応付けを向上させるために、クロスモダリティの最も困難で部分的に困難なネガティブペアのマイニング、アテンション機構（S-GMPおよびメモリ拡張バイリバーシブルLSTM）、および三重損失と交差エントロピーのハイブリッド損失を用いた、人物検索のための新規な視覚的・言語的関連フレームワークを提案する。CUHK-PEDES上で55.32%のトップ1正答率という、新たな最先端性能を達成しており、困難なネガティブ例における特徴の整合性と判別性の向上により顕著な向上が見られた。

ABSTRACT

Searching persons in large-scale image databases with the query of natural language description is a more practical important applications in video surveillance. Intuitively, for person search, the core issue should be visual-textual association, which is still an extremely challenging task, due to the contradiction between the high abstraction of textual description and the intuitive expression of visual images. However, for this task, while positive image-text pairs are always well provided, most existing methods doesn't tackle this problem effectively by mining more reasonable negative pairs. In this paper, we proposed a novel visual-textual association approach with visual and textual attention, and cross-modality hardest and semi-hard negative pair mining. In order to evaluate the effectiveness and feasibility of the proposed approach, we conduct extensive experiments on typical person search datasdet: CUHK-PEDES, in which our approach achieves the top1 score of 55.32% as a new state-of-the-art. Besides, we also evaluate the semi-hard pair mining approach in COCO caption dataset, and validate the effectiveness and complementarity of the methods.

研究の動機と目的

• テキスト記述が抽象的で、画像が包括的であるという視覚的・言語的関連の課題に対処すること。これにより、特徴マッチングの不整合が生じる。
• 視覚的および言語的アテンション機構を統合することで、より一貫性のあるクロスモダリティマッチングを実現し、特徴表現を向上させること。
• 特にクロスモダリティの難易度に注目し、異なるモダリティ間で最も困難で部分的に困難なネガティブペアをマイニングすることで、モデルの判別性を高めること。
• 単一モダリティの三重損失とクロスモダリティのネガティブペアの交差エントロピー損失を組み合わせた訓練戦略を構築し、より良い一般化性能を達成すること。
• 広範なアブレーションおよびクロスデータセット評価を通じて、提案手法の有効性と相乗効果を検証すること。

提案手法

• テキスト記述に一致する顕著な領域に注目することで、より焦点を絞った視覚的特徴を抽出するため、スムージング済みグローバルマックスプーリング（S-GMP）を導入する。
• LSTMセル状態に基づくメモリ拡張アテンション機構を採用し、言語的特徴におけるより厳密なクロスモダリティ対応を実現する。
• 二段階のネガティブマイニング戦略を提案する：まず各モダリティ内での最も困難で部分的に困難なネガティブペアを特定し、次にクロスモダリティの困難なペアに注目することで、判別性を向上させる。
• 単一モダリティ特徴における三重損失と、クロスモダリティの最も困難で部分的に困難なペアにおける交差エントロピー損失を組み合わせ、特徴埋め込みとランク付けを同時に最適化する。
• トレーニング中にドロップアウトを正例ペアにのみ適用することで、ノイズの多いネガティブサンプルから誤った対応を学習するのを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 高レベルのテキスト抽象化と視覚的複雑さの下で、視覚的および言語的アテンション機構は、人物検索におけるクロスモダリティマッチングの整合性をどのように向上させるか？
• RQ2 特にクロスモダリティペアを含む、最も困難で部分的に困難なネガティブペアのマイニングが、視覚的・言語的関連におけるモデル性能に与える影響は何か？
• RQ3 単一モダリティ特徴における三重損失とクロスモダリティのハードペアにおける交差エントロピー損失を組み合わせることで、特徴の判別性と一般化性能にどのような影響を与えるか？
• RQ4 S-GMPおよびメモリ拡張バイリバーシブルLSTMアテンションは、標準的なプーリングや隠れ状態抽出と比較して、特徴表現をどの程度向上させるか？
• RQ5 提案手法はCUHK-PEDESを越えて一般化可能であり、COCO Captionなどの他のベンチマークでもどの程度の性能を示すか？

主な発見

• 本手法は、ResNet-50を用いてCUHK-PEDESデータセットで55.32%のトップ1正答率を達成し、先行手法を著しく上回る、新たな最先端性能を実現した。
• アブレーションスタディの結果、S-GMPは視覚的特徴抽出を一貫して向上させ、平均プーリングやマックスプーリングを上回る55.32%のトップ1正答率を達成した。
• メモリ拡張バイリバーシブルLSTMアテンション機構は、最終隠れ状態やプーリングベースのテキスト特徴抽出を上回る最高の性能（55.32%トップ1）を達成した。
• 三重損失と部分的・最も困難なネガティブマイニングを組み合わせることで、段階的な向上が得られた：50.7%（部分的困難のみ）、53.01%（三重損失＋部分的困難）、55.32%（完全な手法）。
• アブレーションの結果、ドロップアウトを正例ペアにのみ適用することで、ネガティブペア学習の劣化を防ぎ、完全な手法で55.32%のトップ1正答率を達成した。
• 各モジュールが相乗的に寄与する強力な補完性を示しており、それぞれのモジュールが協調的に性能向上に寄与した。