[論文レビュー] Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models

Jiuxiang Gu, Jianfei Cai+3 more|arXiv (Cornell University)|Nov 17, 2017

Multimodal Machine Learning Applications参考文献 30被引用数 37

ひとこと要約

本論文は、画像からテキストおよびテキストから画像の生成モデルを統合することで、統合埋め込み空間に組み込むことで、テキスト-視覚マッチングを向上させる、新しいクロスモーダル検索フレームワークを提案する。生成モデリングによって学習された局所的で接地された特徴と、グローバルな抽象表現を組み合わせることで、MSCOCO上で最先端の性能を達成し、画像からテキストおよびテキストから画像の両方の検索タスクで、先行手法を上回る結果を示した。

ABSTRACT

Textual-visual cross-modal retrieval has been a hot research topic in both computer vision and natural language processing communities. Learning appropriate representations for multi-modal data is crucial for the cross-modal retrieval performance. Unlike existing image-text retrieval approaches that embed image-text pairs as single feature vectors in a common representational space, we propose to incorporate generative processes into the cross-modal feature embedding, through which we are able to learn not only the global abstract features but also the local grounded features. Extensive experiments show that our framework can well match images and sentences with complex content, and achieve the state-of-the-art cross-modal retrieval results on MSCOCO dataset.

研究の動機と目的

• テキスト-視覚検索におけるモダリティの非一貫性に取り組むために、より強固で接地された表現を学習すること。
• グローバルな意味的埋め込みを越えて、生成モデリングによる局所的でオブジェクトレベルの整合性を組み込むことで、検索性能を向上させること。
• 抽象的表現と接地された表現を組み合わせることで、複雑で現実世界のデータにおいて優れたクロスモーダルマッチングが達成できることを示すこと。
• MSCOCO や Flickr30K などのベンチマークデータセット上で、フレームワークの有効性を検証すること。

提案手法

• フレームワークは二重ストリームアーキテクチャを採用しており、一方はグローバルな抽象表現を、もう一方は生成モデリングによる局所的で接地された表現を処理する。
• エンコーディングされた表現から真値のモダリティを再構築することを目的とした、画像からテキストおよびテキストから画像の二つの条件付き生成モデルを導入する。
• 類似度を最適化し、一致しないペアをペナルティ処理するために、マックスマージンランク損失を用いる。
• 最終的な関連スコアは、抽象的表現と接地された表現の両方を組み合わせてマッチングを強化し、細粒度の整合性を向上させる。
• 単語埋め込みはトレーニング中に共同で学習され、語の意味的および視覚的接地性が向上する。
• 対照学習を用いて、ランク損失と再構築損失の組み合わせにより、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 生成モデリングは、クロスモーダル検索における画像とテキストの局所的で細粒度の整合性を向上させることができるか？
• RQ2 抽象的表現と接地された表現を組み合わせることで、抽象的表現のみを用いる場合よりも優れた検索性能が得られるか？
• RQ3 モデルは、入力クエリの意味的コンテンツを反映した妥当な画像やキャプションをどれほど正確に生成できるか？
• RQ4 提案手法は、標準ベンチマークにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• MSCOCO 1k テストスプリットにおいて、提案された GXN (i2t+t2i) モデルは、画像からテキスト検索で R@1 68.5%、テキストから画像検索で R@1 56.6% を達成し、先行手法を上回った。
• 1k テストスプリットにおいて、R@1 と R@10 の合計スコアが 317.5 に達し、前回の SOTA の 304.6 を顕著に上回った。
• 5k テストスプリットでは、画像からテキスト検索で R@1 42.0%、R@10 84.7%、テキストから画像検索で R@1 31.7%、R@10 74.6% を達成し、優れた一般化性能を示した。
• Flickr30K では、画像からテキスト検索で R@1 56.8%、R@10 89.6%、テキストから画像検索で R@1 41.5%、R@10 80.1% を達成し、異なるデータセット間でも堅牢な性能を示した。
• 定性的な結果から、複雑なシーンでは品質に限界があるものの、生成された画像は妥当な形状、色、背景を保持しており、言語-画像の整合性が適切に学習されていることが示された。
• 単語埋め込みの可視化により、GXN (i2t+t2i) が 'eats' と 'stares' のような語をより近接してクラスタリングするなど、より意味的かつ視覚的に接地された単語表現を学習していることが確認された。