[論文レビュー] Cross-modal Scene Graph Matching for Relationship-aware Image-Text Retrieval

Sijin Wang, Ruiping Wang+3 more|arXiv (Cornell University)|Oct 11, 2019

Multimodal Machine Learning Applications参考文献 39被引用数 11

ひとこと要約

本稿では、クロスモーダル・シーングラフマッチングを用いた関係認識型画像・テキスト検索手法を提案する。画像とテキストをそれぞれ視覚的・文語的シーングラフとしてモデル化し、専用のグラフエンコーダを用いて対象と関係性の共同表現を学習することで、エンティティ間の意味的関係を明示的に捉える。これにより、Flickr30kおよびMSCOCOで最先端の性能を達成した。

ABSTRACT

Image-text retrieval of natural scenes has been a popular research topic. Since image and text are heterogeneous cross-modal data, one of the key challenges is how to learn comprehensive yet unified representations to express the multi-modal data. A natural scene image mainly involves two kinds of visual concepts, objects and their relationships, which are equally essential to image-text retrieval. Therefore, a good representation should account for both of them. In the light of recent success of scene graph in many CV and NLP tasks for describing complex natural scenes, we propose to represent image and text with two kinds of scene graphs: visual scene graph (VSG) and textual scene graph (TSG), each of which is exploited to jointly characterize objects and relationships in the corresponding modality. The image-text retrieval task is then naturally formulated as cross-modal scene graph matching. Specifically, we design two particular scene graph encoders in our model for VSG and TSG, which can refine the representation of each node on the graph by aggregating neighborhood information. As a result, both object-level and relationship-level cross-modal features can be obtained, which favorably enables us to evaluate the similarity of image and text in the two levels in a more plausible way. We achieve state-of-the-art results on Flickr30k and MSCOCO, which verifies the advantages of our graph matching based approach for image-text retrieval.

研究の動機と目的

• 既存の画像・テキスト検索手法がグローバル特徴や孤立した対象にのみ注目するという制限を克服し、複雑なシーンにおける関係情報を統合すること。
• 複数の対象を含む自然なシーンにおいて、画像とテキストの両方で対象間の意味的関係をモデル化することで、検索精度を向上させること。
• 両モダリティ間で対象レベルおよび関係性レベルの特徴を統合的にマッチングできる統一フレームワークを構築すること。
• 関係性をモデル化することで、画像・テキスト検索におけるクロスモーダル類似度測定が顕著に向上するという仮説を検証すること。

提案手法

• 本手法は、画像の対象とその検出された関係性から視覚的シーングラフ（VSG）を構築し、テキスト文の句構造解析から文語的シーングラフ（TSG）を生成する。
• マルチモーダル・グラフ畳み込みネットワーク（MGCN）は、近隣情報の集約により、VSGをエンコードすることで対象および関係性特徴を精緻化する。
• TSGの処理には、対象および関係性特徴を独立して処理する2つの別個の双方向GRUを用いることで、モダリティ固有の意味を保持する。
• 両モダリティで対象レベルおよび関係性レベルの特徴を別々に学習し、モダリティ間でマッチングすることでクロスモーダル検索を実現する。
• 対照的損失を用いて、両モダリティの画像・テキスト表現の整合性を最適化する。
• グラフエンコーダは、接続された近隣ノードからの情報を集約することで、ノード表現を精緻化し、意味的表現力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像とテキストにおける対象間の関係性をモデル化することで、対象レベルのマッチングを上回る画像・テキスト検索性能の向上が図れるか？
• RQ2 シーングラフにおける関係性の明示的モデル化が、クロスモーダル表現の整合性にどのように影響するか？
• RQ3 対象レベルと関係性レベルの2段階マッチング戦略は、グローバルまたは対象のみの手法に比べて、より高い検索精度を達成するか？
• RQ4 曖昧な対象構成を示す複雑なシーンにおいて、関係認識特徴はどの程度検索性能を向上させるか？

主な発見

• 提案手法のSGMモデルは、Flickr30kおよびMSCOCOデータセットの両方で最先端の性能を達成し、先行手法を著しく上回った。
• Flickr30kでは、最良の既存手法と比較して、画像検索のR@1が相対的に16.18%向上し、キャプション検索のR@1が相対的に16.8%向上した。
• MSCOCO 5kテストスプリットでは、キャプション検索で相対的に10.62%向上し、画像検索のR@1でも相対的に6.65%向上した。
• MSCOCO 1kテストスプリットでは、R@1という重要な指標で優れた性能を示し、困難な検索シナリオにおける頑健性を実証した。
• 定性的な結果から、テキストクエリの関係語を変更すると、検索された画像が顕著に変化することが確認され、モデルが関係的意味を正しく捉え利用していることを裏付けた。
• グローバル表現ベースおよびローカル対象ベースの手法を上回る性能を示したため、複雑な画像・テキスト検索において関係性のモデル化の必要性が裏付けられた。