[論文レビュー] Joint Visual-Textual Embedding for Multimodal Style Search

Gil Sadeh, Lior Fritz+2 more|arXiv (Cornell University)|Jun 15, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 4

ひとこと要約

本稿では、マルチモーダルファッションスタイル検索のための共同視覚・言語埋め込みモデルを提案し、画像およびテキストクエリを用いた直感的な検索結果の微調整を可能にしている。新たに提案されたミニバッチマッチリtrieval（MBMR）損失関数は、三重損失を上回る性能を示し、学習済み属性フィルタリングとクエリ算術を組み合わせることで、マルチモーダル評価指標を用いた新しいベンチマークにおいて最先端の性能を達成した。

ABSTRACT

We introduce a multimodal visual-textual search refinement method for fashion garments. Existing search engines do not enable intuitive, interactive, refinement of retrieved results based on the properties of a particular product. We propose a method to retrieve similar items, based on a query item image and textual refinement properties. We believe this method can be leveraged to solve many real-life customer scenarios, in which a similar item in a different color, pattern, length or style is desired. We employ a joint embedding training scheme in which product images and their catalog textual metadata are mapped closely in a shared space. This joint visual-textual embedding space enables manipulating catalog images semantically, based on textual refinement requirements. We propose a new training objective function, Mini-Batch Match Retrieval, and demonstrate its superiority over the commonly used triplet loss. Additionally, we demonstrate the feasibility of adding an attribute extraction module, trained on the same catalog data, and demonstrate how to integrate it within the multimodal search to boost its performance. We introduce an evaluation protocol with an associated benchmark, and compare several approaches.

研究の動機と目的

• ユーザーが色、パターン、スタイルなどの属性を変更した類似アイテムを求める際、直感的でインタラクティブな微調整が可能なファッション検索の課題に対処すること。
• ペアドされた前後画像データを一切不要とする、テキストクエリに基づく画像の意味的変換を可能にする共同視覚・言語埋め込み空間の構築。
• 弱教師あり、カタログベースの設定において、標準的な三重損失よりも性能を向上させる、ミニバッチマッチリtrieval（MBMR）という新たな学習目的関数の設計。
• エンドツーエンドで訓練された属性抽出モジュールを統合することで、ソフトテキストフィルタリングによるマルチモーダル検索の性能向上の有効性を評価すること。
• 視覚的および言語的関連性を統合したマルチモーダル評価指標を備えた、実世界のファッションデータに対して公平に比較可能な新しいベンチマークの確立。

提案手法

• ミニバッチ内で一致する画像・テキストペア間のコサイン類似度を最大化する新しい目的関数、ミニバッチマッチリtrieval（MBMR）を用いて、共同視覚・言語埋め込みモデルを訓練。クロスエントロピー損失を用いる。
• 各製品画像とそのカタログメタデータ（テキスト）が共通のベクトル空間にマップされる共有埋め込み空間を定義し、ベクトル演算を用いた意味的演算（例：ベクトル算術）を可能にする。
• 追加のアノテーションを必要とせず、ノイズの多いカタログデータ上で訓練されたマルチラベル属性分類器を導入し、画像からファッション属性（例：色、パターン）を抽出する。
• 2つの検索戦略を組み合わせる：(1) 共有埋め込み空間におけるベクトル演算を用いたクエリ算術、および (2) 予測された属性を用いたソフトフィルタリング。
• 最終的なマルチモーダル評価指標として、視覚的および言語的正規化済み累積利益割合（nDCG）スコアの幾何平均を用いる。
• MBMR損失と補助的な属性分類損失を併用するマルチタスク目的関数により、エンドツーエンドでモデルを訓練し、一般化性能および性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像およびテキストクエリのみを用いて、共同視覚・言語埋め込み空間が、ファッション検索結果の効果的で直感的な微調整を可能にするか？
• RQ2 提案されたミニバッチマッチリtrieval（MBMR）損失は、ファッション検索のための判別性の高い埋め込み空間を学習する上で、標準的な三重損失を上回るか？
• RQ3 ノイズの多いカタログデータのみで訓練されたエンドツーエンド属性抽出モジュールが、マルチモーダル検索性能をどの程度向上できるか？
• RQ4 クエリ算術とソフト属性フィルタリングの組み合わせは、高品質で意味的に整合性のある検索結果を得るためにどの程度効果的か？
• RQ5 視覚的nDCG（V-nDCG）、言語的nDCG（T-nDCG）、マルチモーダルnDCG（MM）を統合した新しい評価プロトコルは、実世界のファッションデータにおいて、異なるマルチモーダル検索アプローチを信頼性高く公平に比較できるか？

主な発見

• MBMR損失は三重損失よりも収束が早く、優れた性能を示し、検証セットにおいてトップ20の正確度が5.5ポイント向上した。
• クエリ算術とソフト属性フィルタリング（QA+SAF）を組み合わせたアプローチは、マルチモーダルnDCGスコアが0.612に達し、個別の手法を大きく上回った。
• 『色』のクエリタイプにおいて、QA+SAFはV-nDCGが0.621、T-nDCGが0.591を記録し、視覚的および言語的関連性の両面で良好なバランスを示した。
• ノイズの多いカタログデータのみで訓練された属性抽出モジュールは、信頼性の高い予測を生成した。特に『ネックライン』と『スタイル』カテゴリでは、T-nDCGスコアが0.628および0.563を記録した。
• 提案されたマルチモーダル評価指標（MM = √(V-nDCG × T-nDCG)）は、さまざまなクエリタイプにわたり安定的かつ効果的であり、異なる手法の比較に適していることが確認された。
• 図5の定性的分析により、QA+SAFは単独で用いた場合よりも、特に複数の属性を含む複雑なクエリにおいて、より関連性が高く意味的に整合性のある結果を生成することが確認された。