[論文レビュー] Visual Semantic Reasoning for Image-Text Matching

Kunpeng Li, Yulun Zhang+3 more|arXiv (Cornell University)|Sep 6, 2019

Multimodal Machine Learning Applications参考文献 40被引用数 21

ひとこと要約

本論文では、グラフ畳み込みネットワーク（GCNs）を用いた領域ベースの意味的推論と、ゲートおよびメモリ機構を用いたグローバル意味的推論により、画像とテキストの一致を向上させる新規モデルである視覚的意味的推論ネットワーク（VSRN）を提案する。この手法は、キーポイントオブジェクトや関係性を捉える解釈可能な高レベルの視覚的表現を生成し、MS-COCOおよびFlickr30Kで最先端の性能を達成した。それぞれ画像検索において6.8%および12.6%の相対的改善を達成した。

ABSTRACT

Image-text matching has been a hot research topic bridging the vision and language areas. It remains challenging because the current representation of image usually lacks global semantic concepts as in its corresponding text caption. To address this issue, we propose a simple and interpretable reasoning model to generate visual representation that captures key objects and semantic concepts of a scene. Specifically, we first build up connections between image regions and perform reasoning with Graph Convolutional Networks to generate features with semantic relationships. Then, we propose to use the gate and memory mechanism to perform global semantic reasoning on these relationship-enhanced features, select the discriminative information and gradually generate the representation for the whole scene. Experiments validate that our method achieves a new state-of-the-art for the image-text matching on MS-COCO and Flickr30K datasets. It outperforms the current best method by 6.8% relatively for image retrieval and 4.8% relatively for caption retrieval on MS-COCO (Recall@1 using 1K test set). On Flickr30K, our model improves image retrieval by 12.6% relatively and caption retrieval by 5.8% relatively (Recall@1). Our code is available at https://github.com/KunpengLi1994/VSRN.

研究の動機と目的

• 画像とテキストの一致における視覚的意味的乖離を解消するために、高レベルの意味的概念を統合した画像表現を向上させること。
• 画像内のローカルな領域間の関係性とグローバルな意味的相関をモデル化し、テキスト記述とのより良いアライメントを実現すること。
• 局所的なCNN特徴を上回る特徴表現を向上させるシンプルで解釈可能な推論メカニズムを設計すること。
• 注意可視化を通じて、学習された画像表現がキーポイントオブジェクトと意味的関係性を正しく捉えているかを検証すること。
• 標準的な画像-テキスト一致ベンチマークで最先端の性能を達成すること。

提案手法

• モデルは、推論の入力として顕著な画像領域を抽出するためにFaster R-CNNを用いる。
• 画像領域同士を接続するグラフトポロジを構築し、グラフ畳み込みネットワーク（GCNs）を適用して意味的関係性を用いて特徴を伝搬・強化する。
• ゲートおよびメモリ機構を導入し、判別性の高い特徴に選択的に注目し、段階的に包括的な画像表現を構築するグローバル意味的推論を実行する。
• 最終的な画像表現は、グローバル表現との類似度に基づく微分可能な注意機構を用いて領域特徴を集約することで計算される。
• モデルの挙動を解釈するために、最終的な画像表現と各領域との間の注意スコアを可視化する。
• モデルは、画像-テキスト一致性能を最適化するために、対照的順序損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 画像領域間の関係性をモデル化する推論メカニズムは、画像-テキスト一致における視覚的意味的一致を向上させることができるか？
• RQ2 ゲートおよびメモリ機構を用いたグローバル意味的推論は、画像表現の判別力の向上に寄与するか？
• RQ3 モデルの内部推論を解釈可能にすることで、テキストキャプションからのキーメンタルコンセプトを正しく捉えているかを検証できるか？
• RQ4 提示された推論ベースの表現は、局所的特徴やペairwise注意に依存する従来手法を上回る性能を発揮するか？
• RQ5 本手法は、標準ベンチマークにおける複雑でごちゃついたシーンに対しても一般化性能を示すか？

主な発見

• MS-COCOでは、VSRNは画像検索で6.8%の相対的改善（1KテストセットにおけるRecall@1）を達成し、キャプション検索でも4.8%の相対的改善を示した。
• Flickr30Kでは、画像検索で12.6%、キャプション検索で5.8%の相対的改善（Recall@1）を達成し、優れた一般化性能を示した。
• 定性的な結果から、複雑なシーンにおいてもトップ3に正しいマッチングを達成しており、注意マップがキーポイントオブジェクトや意味的コンセプトを明確に強調していることが確認された。
• 注意可視化により、モデルの最終的表現がキーメンタルコンセプトを含む領域と強く相関していることが確認され、解釈可能性が裏付けられた。
• モデルは、視覚的に類似した画像（例：車を洗っている人物とスキーをしている人物）を、意味的ヒントに基づいて正しく区別できた。
• 結果から、推論による強化されたグローバル表現は、複雑なペアワイズ注意機構よりも画像-テキスト一致においてより効果的であることが示された。