[論文レビュー] Consensus-Aware Visual-Semantic Embedding for Image-Text Matching

Haoran Wang, Ying Zhang+3 more|arXiv (Cornell University)|Jul 17, 2020

Multimodal Machine Learning Applications参考文献 48被引用数 17

ひとこと要約

本稿では、大規模なキャプションコーパスからの意味的コンセプトの統計的共起性を介して常識的知識を統合することで、画像・テキストマッチングを向上させる、新たなフレームワークであるConsensus-Aware Visual-Semantic Embedding (CVSE) を提案する。共起性に基づくコンセプト相関グラフを構築し、コンセンサスに配慮したコンセプト（CAC）表現を学習することで、インスタンスレベルとコンセンサスレベルの特徴を統合し、双方向検索においてMS-COCOおよびFlickr30kで最先端の性能を達成する。

ABSTRACT

Image-text matching plays a central role in bridging vision and language. Most existing approaches only rely on the image-text instance pair to learn their representations, thereby exploiting their matching relationships and making the corresponding alignments. Such approaches only exploit the superficial associations contained in the instance pairwise data, with no consideration of any external commonsense knowledge, which may hinder their capabilities to reason the higher-level relationships between image and text. In this paper, we propose a Consensus-aware Visual-Semantic Embedding (CVSE) model to incorporate the consensus information, namely the commonsense knowledge shared between both modalities, into image-text matching. Specifically, the consensus information is exploited by computing the statistical co-occurrence correlations between the semantic concepts from the image captioning corpus and deploying the constructed concept correlation graph to yield the consensus-aware concept (CAC) representations. Afterwards, CVSE learns the associations and alignments between image and text based on the exploited consensus as well as the instance-level representations for both modalities. Extensive experiments conducted on two public datasets verify that the exploited consensus makes significant contributions to constructing more meaningful visual-semantic embeddings, with the superior performances over the state-of-the-art approaches on the bidirectional image and text retrieval task. Our code of this paper is available at: https://github.com/BruceW91/CVSE.

研究の動機と目的

• 既存の画像・テキストマッチング手法が外部の常識的知識を活用しないインスタンスレベルのアライメントに依存しているという限界を是正すること。
• 大規模なキャプションデータから得られる共通する意味的コンセプトとその関連性を活用することで、画像とテキスト間の高レベルな意味的関係をモデル化すること。
• インスタンスレベルの表現とコンセンサスレベルの表現を統合し、視覚的・意味的埋め込みの質と検索性能を向上させること。
• コンセンサス知識が異なるデータセット（例：MS-COCOからFlickr30kへ）にわたって一般化可能であるかどうかを検証すること。

提案手法

• 画像キャプションコーパスから意味的コンセプトを抽出し、それらの統計的共起頻度を計算することで、コンセンサス知識をモデル化する。
• 共起統計からコンセプト相関グラフを構築し、グラフ畳み込みネットワークを用いてコンセンサスに配慮したコンセプト（CAC）表現を学習する。
• 可学習な統合モジュールを介して、重み付けハイパーパrameter β によって制御される、CAC表現とインスタンスレベルの画像・テキスト特徴を統合する。
• 一貫性損失を用いて、統合された埋め込み空間内で画像・テキストペアをアライメントさせながら、インスタンスレベルおよびコンセンサスレベルの意味を保持するように、エンドツーエンドでモデルを学習する。
• t-SNEを用いた可視化により、word2vec埋め込みと比較して、CAC表現の分布と解釈可能性を分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模な画像キャプションから導出されたコンセンサス知識は、画像・テキストマッチングのための視覚的・意味的埋め込みを向上させることができるか？
• RQ2 インスタンスレベル特徴とコンセンサスレベル特徴を統合することで、検索性能にどのような影響を与えるか？
• RQ3 コンセンサス知識は、MS-COCOからFlickr30kへの異なる画像・テキストデータセット間で、どの程度一般化可能か？
• RQ4 予測されたコンセンサスに配慮したコンセプト表現は、意味的に意味的で、人間の常識と整合していると評価できるか？

主な発見

• CVSEは、MS-COCOおよびFlickr30kの両方で最先端の性能を達成し、テキスト検索では56.4% R@1および89.0% R@10、画像検索では39.9% R@1および77.2% R@10を達成した。
• アブレーションスタディの結果、インスタンスレベル特徴のみ（CVSE β=1）またはコンセンサスレベル特徴のみ（CVSE β=0）を使用した場合、性能が劣ることが確認され、両表現の補完的性質が裏付けられた。
• MS-COCOからFlickr30kへのクロスデータセット一般化において、CVSEは、再実装されたSOTA手法を含むすべてのベースラインを上回り、コンセンサス知識の堅牢性と転送可能性を示した。
• 可視化結果から、CAC表現が意味的な関連性を的確に捉えていることが確認された—例として「riding」は「person」と密接に関連し、「plate」は「eating」と関連している—人間の常識との整合性が裏付けられた。
• モデルは入力の画像・テキストペアに明示的に存在しない関連するコンセプト（例：サーフィンの光景に対して「traffic」と「buildings」）を効果的に予測でき、解釈可能性と意味的豊かさが向上した。