[論文レビュー] Graph Structured Network for Image-Text Matching

Chunxiao Liu, Zhendong Mao+4 more|arXiv (Cornell University)|Apr 1, 2020

Multimodal Machine Learning Applications参考文献 35被引用数 8

ひとこと要約

本稿では、画像とテキストをオブジェクト、関係、属性を表すノードを有する異種グラフとしてモデル化するグラフ構造マッチングネットワーク（GSMN）を提案する。ノードレベルおよび構造レベルのマッチングにより、フレーズ単位の対応を細かく学習可能であり、SOTA性能を達成。Flickr30KではRecall@1が前人最高手法比で約7%向上、MSCOCOでは2%向上を達成。

ABSTRACT

Image-text matching has received growing interest since it bridges vision and language. The key challenge lies in how to learn correspondence between image and text. Existing works learn coarse correspondence based on object co-occurrence statistics, while failing to learn fine-grained phrase correspondence. In this paper, we present a novel Graph Structured Matching Network (GSMN) to learn fine-grained correspondence. The GSMN explicitly models object, relation and attribute as a structured phrase, which not only allows to learn correspondence of object, relation and attribute separately, but also benefits to learn fine-grained correspondence of structured phrase. This is achieved by node-level matching and structure-level matching. The node-level matching associates each node with its relevant nodes from another modality, where the node can be object, relation or attribute. The associated nodes then jointly infer fine-grained correspondence by fusing neighborhood associations at structure-level matching. Comprehensive experiments show that GSMN outperforms state-of-the-art methods on benchmarks, with relative Recall@1 improvements of nearly 7% and 2% on Flickr30K and MSCOCO, respectively. Code will be released at: https://github.com/CrossmodalGroup/GSMN.

研究の動機と目的

• 既存手法が画像とテキストの間で細かく対応を学ぶことの制限、特に関係や属性に関して改善を図ること。
• オブジェクト、関係、属性を構造的なフレーズとして明示的にモデル化し、アライメント精度を向上させること。
• グラフ畳み込みネットワーク（GCN）を用いて、オブジェクト、関係、属性のノード間で対応を共同で学習すること。
• 相互監視により関係的および属性的文脈を活用し、オブジェクトマッチングを強化すること。
• 標準的な画像・テキストマッチングベンチマークで、既存のSOTA手法を上回ること。

提案手法

• オブジェクト、関係、属性をノードとし、それらの間の相互作用をエッジとする視覚的および言語的グラフを構築する。
• 類似度スコアに基づき、片方のモダリティのノードを他方のモダリティの関連するノードと関連付けるノードレベルのマッチングを実行する。
• グラフ畳み込みネットワーク（GCN）を用いて、エッジに沿ってノードの対応を伝搬させ、構造レベルのマッチングを実現する。
• テキストシーケンスを符号化するために双方向GRU（Bi-GRU）を用い、長距離依存性を捉え、言語的グラフにおけるエッジ重み推定の精度を向上させる。
• ノードレベルおよび構造レベルの対応を統合し、細かく対応したフレーズレベルのアライメントを推論することで、グローバルな画像・テキスト類似度予測を改善する。
• ノードレベルマッチングにおける関連性をバランスさせるために、学習可能なスケーリング係数λを統合する。

実験結果

リサーチクエスチョン

• RQ1 画像とテキストを構造的グラフとしてモデル化することで、画像・テキストマッチングにおける細かく対応を学ぶ能力が向上するか？
• RQ2 オブジェクト、関係、属性の対応を共同で学習することで、オブジェクトマッチングの正確性はどのように向上するか？
• RQ3 ノードレベルの対応をグラフ構造に沿って伝搬させるためにグラフ畳み込みネットワーク（GCN）を用いることで、どのような影響があるか？
• RQ4 双方向シーケンス符号化は、言語的グラフの構築およびマッチングの質を向上させるか？
• RQ5 ハイパーパrameter λ の選択が、ノードレベルマッチングおよび全体的なモデル一般化性能に与える影響は何か？

主な発見

• Flickr30Kベンチマークにおいて、GSMNはSOTA手法比でRecall@1がほぼ7%の相対的向上を達成した。
• MSCOCOベンチマークでは、GSMNは既存のSOTAアプローチ比でRecall@1を約2%向上させた。
• アブレーションスタディの結果、双方向マッチングを用いた完全なGSMNが、片方向のみまたはグラフ構造なしのモデルを上回ることが示された。
• GCNの深さが2（GSMN-2GCN）のモデルはベースモデルに劣り、間接的に接続されたノードからのノイズが伝搬される可能性があることが示唆された。
• 最適なスケーリング係数λはデータセットによって異なる—Flickr30Kではλ=20、MSCOCOではλ=10—データ分布への感受性が顕著に現れた。
• 可視化結果から、GSMNが細かく対応を学習しており、例えば「bite」のような関係や「brown」「gray」のような属性が、特定の画像領域と正しく対応していることが確認された。