[論文レビュー] Similarity Reasoning and Filtration for Image-Text Matching

Haiwen Diao, Ying Zhang+2 more|arXiv (Cornell University)|Jan 5, 2021

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、画像とテキストのマッチングのための新しいネットワークSGRAFを提案する。この手法は、ベクトルベースの類似度表現を学習し、局所的およびグローバルなアライメントを推論するためのグラフ畳み込みネットワークを用いる。類似度グラフ推論（SGR）モジュールと類似度アテンションフィルタリング（SAF）モジュールを導入し、Flickr30KおよびMSCOCOで最先端の性能を達成するとともに、解釈可能性を向上させた。

ABSTRACT

Image-text matching plays a critical role in bridging the vision and language, and great progress has been made by exploiting the global alignment between image and sentence, or local alignments between regions and words. However, how to make the most of these alignments to infer more accurate matching scores is still underexplored. In this paper, we propose a novel Similarity Graph Reasoning and Attention Filtration (SGRAF) network for image-text matching. Specifically, the vector-based similarity representations are firstly learned to characterize the local and global alignments in a more comprehensive manner, and then the Similarity Graph Reasoning (SGR) module relying on one graph convolutional neural network is introduced to infer relation-aware similarities with both the local and global alignments. The Similarity Attention Filtration (SAF) module is further developed to integrate these alignments effectively by selectively attending on the significant and representative alignments and meanwhile casting aside the interferences of non-meaningful alignments. We demonstrate the superiority of the proposed method with achieving state-of-the-art performances on the Flickr30K and MSCOCO datasets, and the good interpretability of SGR and SAF modules with extensive qualitative experiments and analyses.

研究の動機と目的

• 画像とテキストのマッチングにおけるスカラー基盤の類似度計算の限界を解消すること。これは、複雑なアライメントパターンを捉えることができないためである。
• 局所的領域-語とグローバルな画像-文のアライメントを統一的かつ関係に配慮した形でモデル化することで、マッチング精度を向上させること。
• 類似度集約の過程で、意味のないアライメント（例：ストップワード）による干渉を低減すること。
• アテンション機構を通じて顕著なアライメントの可視化と分析を可能にすることで、解釈可能性を向上させること。
• 局所的およびグローバルなアライメントを効果的に統合する統一フレームワークを構築し、より優れたクロスマodalマッチングを実現すること。

提案手法

• 本手法は、画像領域とテキスト断片間のクロスマodal関連性をよりよく捉えるために、スカラーのコサイン類似度ではなく、ベクトルベースの類似度表現を学習する。
• 類似度グラフ推論（SGR）モジュールは、グラフ畳み込みネットワークを用いて局所的およびグローバルなアライメント間の関係をモデル化し、関係に配慮した類似度推論を可能にする。
• 類似度アテンションフィルタリング（SAF）モジュールは、学習可能なアテンション重みを適用して顕著なアライメントにのみ注目し、関係のないアライメントを抑制する。
• SGRおよびSAFモジュールは、マッチングスコアを最適化するための対照損失を用いてトレーニングされるエンドツーエンドのディープラーニングフレームワークに統合される。
• フレームワークは、画像およびテキスト特徴量を二重ブランチエンコーダーで処理し、得られたアライメントグラフ上で類似度計算およびグラフベースの推論を実行する。
• 最終的なマッチングスコアは、フィルタリングおよび推論された類似度の重み付き集約として計算され、耐障害性および高精度な画像-テキスト検索を実現する。

実験結果

リサーチクエスチョン

• RQ1 ベクトルベースの類似度表現は、スカラーのコサイン類似度よりも、複雑な視覚的意味的アライメントを捉える上で優れているか？
• RQ2 局所的およびグローバルなアライメントに対するグラフベースの推論は、単純なプーリング戦略を上回るマッチング精度を向上させられるか？
• RQ3 アテンションベースのフィルタリングにより、意味のないアライメント（例：'a', 'in'）の干渉を低減でき、マッチング性能と耐障害性が向上するか？
• RQ4 提案されたSGRAFフレームワークは、標準的な画像-テキストマッチングベンチマークで最先端の性能を達成するか？
• RQ5 SGRおよびSAFモジュールのアテンション機構は、人間がアノテートした正解対応とどの程度整合しており、解釈可能か？

主な発見

• SGRAFモデルはFlickr30Kデータセットで最先端の性能を達成し、R@1およびR@5指標の両方で従来手法を上回った。
• MSCOCOデータセットでは、SGRAFは新たな最先端の結果を達成し、多様な画像-テキストペアにわたる強力な一般化能力を示した。
• SGRモジュールは、局所的およびグローバルなアライメント間の相互依存関係をモデル化することで、複雑なマッチングパターンを効果的に捉えた。
• SAFモジュールは、非意味的アライメントからの干渉を顕著に低減した。これは、注意マップが関連のある領域-語ペアのみを強調していることから裏付けられた。
• 定性的な分析により、SAFのアテンション重みが人間がアノテートした正解対応と整合しており、モデルの解釈可能性が向上したことが確認された。
• アブレーションスタディにより、SGRおよびSAFの両コンponentsの有効性が検証され、両方を併用した場合に一貫した性能向上が得られた。