[論文レビュー] CurlingNet: Compositional Learning between Images and Text for Fashion IQ Data

Youngjae Yu, Seung‐Hwan Lee+2 more|arXiv (Cornell University)|Mar 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 23

ひとこと要約

CurlingNetは、ファッション画像検索のための新しい画像・テキスト構成モデルを提案する。このモデルは、画像・テキストペア間の意味的差を測定するために、2つの主要な構成要素であるデリバリー・フィルタとスイーピング・フィルタを用いる。チャネル単位のゲーティングとマルチモーダル統合を活用することで、最先端の性能を達成し、外部データセットを用いず、Fashion-IQ 2019チャレンジで2位（テストセットにおける平均Recall@50が44.35％）を記録した。

ABSTRACT

We present an approach named CurlingNet that can measure the semantic distance of composition of image-text embedding. In order to learn an effective image-text composition for the data in the fashion domain, our model proposes two key components as follows. First, the Delivery makes the transition of a source image in an embedding space. Second, the Sweeping emphasizes query-related components of fashion images in the embedding space. We utilize a channel-wise gating mechanism to make it possible. Our single model outperforms previous state-of-the-art image-text composition models including TIRG and FiLM. We participate in the first fashion-IQ challenge in ICCV 2019, for which ensemble of our model achieves one of the best performances.

研究の動機と目的

• 自然言語クエリを用いたファッション分野における制御可能な画像検索の課題に対処すること。
• ソース画像とターゲット画像間の意味的差を捉える有効な画像・テキスト構成を学習すること。
• ターゲット画像におけるクエリ関連属性に注目することで、検索性能を向上させること。
• ユーザーが調整可能な画像検索および推薦システムに適応可能なモデルを開発すること。
• 外部データセットを一切使用せずに、Fashion-IQベンチマークでトップクラスの性能を達成すること。

提案手法

• 事前学習済みのCNNとファッション属性埋め込みを統合するために、共同エキスパート（CE）ゲーティング機構を用いる。
• 豊富な意味的表現を得るための3段階テキスト符号化戦略を採用：グローバル（平均プーリング）、時系列に配慮した（biGRU）、局所強化型（biGRU-CNN）。
• クエリに応じて、埋め込み空間内でのソース画像埋め込みを候補クラスタへと移行させるために、デリバリー・フィルタを導入する。
• チャネル単位の加算とリサイクル接続を用いて、クエリ固有の属性に注目することで、ターゲット埋め込みを精緻化するスイーピング・フィルタを導入する。
• ハダマード積と連結を用いたマルチモーダル統合により、画像とテキストの特徴を統合し、MUTAN や MCB などのバリエーションを用いてアンサンブルモデルを構築する。
• ファッショングループ200KやファッショングループGenなどの微調整済みデータセットから得た三重組み（ソース画像、クエリテキスト、ターゲット画像）を用い、追加マージンソフトマックス損失でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自然言語クエリに関して、2つの画像間の意味的差を効果的にモデル化するにはどうすればよいか？
• RQ2 デリバリーとスイーピングの二重パスネットワークアーキテクチャは、従来の構成モデルを上回る属性に配慮した画像・テキスト検索を実現できるか？
• RQ3 チャネル単位のゲーティングは、モデルがクエリ関連の視覚的属性に注目する能力をどの程度向上させるか？
• RQ4 ゼロショットおよびフェイシュットのファッション検索設定において、提案モデルはTIRG や FiLM といった最先端手法と比べてどの程度優れているか？
• RQ5 外部データを一切使用せずに、単一モデルアーキテクチャがアンサンブル手法を上回る性能を達成できるか？

主な発見

• CurlingNetは、Fashion-IQのテストセットで平均Recall@50が44.35％を達成し、公式チャレンジで2位を記録した。
• CurlingNetの単一モデルバージョンは、バリデーションスプリットにおいてTIRGおよびFiLMベースラインを上回り、平均Recall@50が34.36％を記録した。
• アンサンブルモデルは、スカートで60.09％、シャツで50.20％、トップスで62.98％のRecall@50を達成し、カテゴリ間での強力な一般化能力を示した。
• 外部データセットを一切使用しなかったにもかかわらず、公式ベースライン（SUM）を平均Recall@50で15.84ポイント上回った。
• 定性的な結果から、モデルはクエリの属性（例：ネックカバー、パターン）と一致する画像を正しく検索しており、ソース画像のスタイルを保持していることが確認された。
• アブレーションスタディの結果、提案されたデリバリー・フィルタおよびスイーピング・フィルタは、単純な連結（Curling-concat）と比較して顕著に性能を向上させた。