[論文レビュー] Saliency-Guided Attention Network for Image-Sentence Matching

Zhong Ji, Haoran Wang+2 more|arXiv (Cornell University)|Apr 20, 2019

Multimodal Machine Learning Applications参考文献 45被引用数 16

ひとこと要約

本稿では、視覚的注目領域を用いて視覚と言語モダリティを非対称的にアライメントするための注目度誘導型アテンションネットワーク（SAN）を提案する。注目度検出器と注目度重み付き視覚的アテンション（SVA）モジュール、注目度誘導型言語的アテンション（STA）モジュールを統合することで、SANは微細なクロスマodal相関を学習し、Flickr30KおよびMSCOCOデータセットで最先端の性能を達成した。文の検索において19.2%のR@1向上を達成した。

ABSTRACT

This paper studies the task of matching image and sentence, where learning appropriate representations across the multi-modal data appears to be the main challenge. Unlike previous approaches that predominantly deploy symmetrical architecture to represent both modalities, we propose Saliency-guided Attention Network (SAN) that asymmetrically employs visual and textual attention modules to learn the fine-grained correlation intertwined between vision and language. The proposed SAN mainly includes three components: saliency detector, Saliency-weighted Visual Attention (SVA) module, and Saliency-guided Textual Attention (STA) module. Concretely, the saliency detector provides the visual saliency information as the guidance for the two attention modules. SVA is designed to leverage the advantage of the saliency information to improve discrimination of visual representations. By fusing the visual information from SVA and textual information as a multi-modal guidance, STA learns discriminative textual representations that are highly sensitive to visual clues. Extensive experiments demonstrate SAN can substantially improve the state-of-the-art results on the benchmark Flickr30K and MSCOCO datasets by a large margin.

研究の動機と目的

• 視覚と文の間の意味的ギャップを、視覚的注目領域をガイドとして用いることで解消すること。
• 局所的で微細な視覚的・言語的アライメントを曇らせる、対称的かつグローバルな特徴表現の限界を克服すること。
• 視覚的注目領域が言語的アテンションを誘導する非対称的アテンションメカニズムを構築することにより、画像の情報量がより高いことを反映すること。
• 局所的で注目度の高い視覚的領域とそれらの語の意味的対応関係をモデル化することで、ベンチマークデータセットにおける検索性能を向上させること。

提案手法

• 軽量な注目度検出器を用いて、両方のアテンションモジュールをガイドする視覚的注目マップを生成する。
• 注目度重み付き視覚的アテンション（SVA）モジュールは、注目マップを用いて局所的視覚特徴に選択的に注目することで、判別性の高い視覚的表現を強化する。
• 注目度誘導型言語的アテンション（STA）モジュールは、グローバルな視覚的特徴、内部モードの言語的特徴、および注目度情報を統合し、語レベルのアテンションにマルチモーダルなガイドを提供する。
• SVAおよびSTAの両方でソフトアテンション機構を適用し、意味的関連性に基づいて重要度重みを動的に割り当てる。
• 画像と文のペア間の統合埋め込み空間のアライメントを最適化するため、双方向ランク損失を用いてモデルを訓練する。
• アーキテクチャにより、視覚が言語をガイドする非対称的クロスマodalアテンションが可能となり、画像の情報量の高さを反映する。

実験結果

リサーチクエスチョン

• RQ1 視覚的注目領域は、クロスマodalマッチングにおける画像と文の表現のアライメントを改善できるか？
• RQ2 視覚が言語をガイドする非対称的アテンションメカニズムは、対称的かつ双方向のアテンションよりも、画像文検索で優れた性能を示すか？
• RQ3 視覚的アテンションモジュールと言語的アテンションモジュールの両方に注目度マップを統合することは、微細なクロスマodal相関の強化にどの程度効果的か？
• RQ4 グローバルまたは内部モードの言語的特徴のみと比較して、注目度誘導型言語的アテンションの貢献度は何か？

主な発見

• 注目度誘導型言語的アテンション（STA）モジュール単体でも、ベースラインと比較して文の検索でR@1が19.2%向上し、画像の検索で15.4%向上した。
• STAモジュールで注目度強化視覚特徴（SV）を使用した場合、グローバル視覚特徴（GV）を使用した場合と比較して、画像検索のR@1が7.6%絶対値で向上した。
• 完全なSANモデルは、MSCOCO 1Kテストセットにおいて文の検索で85.4%のR@1、画像検索で69.1%のR@1を達成し、先行する最先端手法を顕著に上回った。
• 定性的な結果から、SVAおよびSTAモジュールは、それぞれ注目度の高い画像領域と意味的に関連する語と一致する解釈可能なアテンションヒートマップを生成した。
• 2段階訓練（ステージ1およびステージ2）で学習したモデルは、注目度検出およびアテンション局在化が向上し、ステージ2ではより一貫性があり、微細な視覚的アテンションマップが得られた。