[論文レビュー] Training and challenging models for text-guided fashion image retrieval

Eric Dodds, Jack Culpepper+1 more|arXiv (Cornell University)|Apr 23, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、キャプションの正確性と画像の関連性の両方に対して肯定的・否定的ラベルを備えた、テキスト誘導型ファッション画像検索のための新しいベンチマークであるChallenging Fashion Queries (CFQ) データセットを紹介する。また、マルチモーダル事前学習の整合性を保ちながら、特徴の整合性を向上させ、弱い教師ありドメイン適応を用いることで、Fashion IQで最先端の性能を達成するための残差アテンション統合メカニズムを提案する。

ABSTRACT

Retrieving relevant images from a catalog based on a query image together with a modifying caption is a challenging multimodal task that can particularly benefit domains like apparel shopping, where fine details and subtle variations may be best expressed through natural language. We introduce a new evaluation dataset, Challenging Fashion Queries (CFQ), as well as a modeling approach that achieves state-of-the-art performance on the existing Fashion IQ (FIQ) dataset. CFQ complements existing benchmarks by including relative captions with positive and negative labels of caption accuracy and conditional image similarity, where others provided only positive labels with a combined meaning. We demonstrate the importance of multimodal pretraining for the task and show that domain-specific weak supervision based on attribute labels can augment generic large-scale pretraining. While previous modality fusion mechanisms lose the benefits of multimodal pretraining, we introduce a residual attention fusion mechanism that improves performance. We release CFQ and our code to the research community.

研究の動機と目的

• 既存のテキスト誘導型ファッション検索ベンチマークに欠ける否定的ラベルとノイズの多い肯定的アノテーションの問題を解決すること。
• キャプションの正確性と画像の関連性を分離することで、モデルの挙動をより細かく分析可能な、より強固な評価フレームワークを構築すること。
• マルチモーダル事前学習とドメイン固有の弱い教師あり学習を活用することで、テキスト誘導型ファッション画像検索の性能を向上させること。
• 事前学習段階で学習されたテキストと画像特徴の整合性を保つように、モダリティ統合メカニズムを設計し、性能の低下を回避すること。
• 本手法の一般化能力を示すために、ファッション以外のテキスト誘導型検索データセットでも評価すること。

提案手法

• 著者らは、キャプションの正確性と、キャプションに条件づけられた画像類似度の両方に対して、人間がアノテートした肯定的・否定的ラベルを備えたChallenging Fashion Queries (CFQ) データセットを導入する。
• iMaterialist-Fashion データセットの属性ラベルを用いて相対的キャプションを合成し、大規模なファッションデータで弱い教師あり事前学習を可能にする。
• CLIP事前学習で得られた既存の整合性を損なわず、画像とテキスト特徴を統合するための残差アテンション統合メカニズムを提案する。
• CLIPをFashion IQデータセットで微調整し、さらにiMaterialist-Fashionの合成キャプションを用いて適応することで、マルチモーダル事前学習の利点を保ち続ける。
• 二重指標（正確性mAP：キャプションの正しさの指標、関連性mAP：キャプションに応じた画像類似度の指標）を用いてモデルを評価する。
• 一般化能力を示すために、Birds-to-Words および MIT-States といった複数のデータセットでもアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 キャプションの正確性と画像の関連性の両方に否定的ラベルを含めることで、テキスト誘導型ファッション画像検索モデルの評価がどの程度改善されるか？
• RQ2 CLIPからのマルチモーダル事前学習は性能にどの程度貢献するか？また、モダリティ統合がその利点を損なうことはないか？
• RQ3 属性ラベルを用いた弱い教師あり事前学習は、完全なアノテーションがなくても、テキスト誘導型検索の性能向上に寄与するか？
• RQ4 提案された残差アテンション統合メカニズムは、事前学習の整合性を保ちながら、従来の統合手法と比較して、どの程度特徴の整合性を維持し、検索精度を向上させるか？
• RQ5 本手法は、ファッション以外のテキスト誘導型検索ベンチマークにおいて、どの程度一般化可能か？

主な発見

• CFQデータセットは、キャプションの正確性と画像の関連性を分離することで、より厳密な評価を可能にし、Fashion IQが主に正確性の成分のみを評価していることが明らかになった。
• 提案された残差アテンション統合メカニズムは、事前学習段階で学習されたテキストと画像特徴の整合性を保ちながら、CLIPベースラインを上回る性能を達成した。
• マルチモーダル事前学習が性能の主因であり、複雑な統合メカニズムの利点を上回る影響を示した。
• Fashion IQでの微調整と、iMaterialist-Fashionの属性を用いた弱い教師あり事前学習により、性能が向上した。特に、まれな属性や微細な属性の変化に対して顕著な改善が見られた。
• CFQにおける全体の関連性指標で38.0 mAPを達成し、SOTAの結果にもかかわらず、さらなる向上の余地が大きいことが示された。
• 本手法はファッション以外のデータセットに対しても良好に一般化され、Birds-to-Words および MIT-States においても、ハイパーパrameterチューニングなしでSOTAまたは準SOTAの性能を達成した。