[論文レビュー] The Fashion IQ Dataset: Retrieving Images by Combining Side Information and Relative Natural Language Feedback.

Xiaoxiao Guo, Hui Wu+3 more|arXiv (Cornell University)|May 30, 2019

Multimodal Machine Learning Applications参考文献 47被引用数 36

ひとこと要約

この論文では、類似したファッションアイテムを区別するためのヒトが生成した対照的なキャプションに加え、製品の説明や視覚的特徴（視覚的属性）といった補助情報（サイド情報）を組み合わせた、初めてのFashion IQデータセットを紹介する。本研究では、視覚的特徴、ユーザーフィードバック、対話履歴を統合するトランスフォーマー基盤のユーザーサイミュレータおよびリtrieverを提案し、会話ベースのファッション画像検索において最先端のパフォーマンスを達成した。

ABSTRACT

Conversational interfaces for the detail-oriented retail fashion domain are more natural, expressive, and user friendly than classical keyword-based search interfaces. In this paper, we introduce the Fashion IQ dataset to support and advance research on interactive fashion image retrieval. Fashion IQ is the first fashion dataset to provide human-generated captions that distinguish similar pairs of garment images together with side-information consisting of real-world product descriptions and derived visual attribute labels for these images. We provide a detailed analysis of the characteristics of the Fashion IQ data, and present a transformer-based user simulator and interactive image retriever that can seamlessly integrate visual attributes with image features, user feedback, and dialog history, leading to improved performance over the state of the art in dialog-based image retrieval. We believe that our dataset will encourage further work on developing more natural and real-world applicable conversational shopping assistants.

研究の動機と目的

• キーワードベースのファッション検索の限界を克服し、より自然な会話インターフェースを可能にすること。
• ペアドされたファッション画像、対照的なキャプション、豊富な補助情報（製品説明および視覚的属性）を備えた、新しいベンチマークデータセットを構築すること。
• 視覚的特徴、ユーザーフィードバック、対話履歴を効果的に統合するユーザーサイミュレータおよび対話型リtrieverを開発すること。
• 統一されたトランスフォーマー基盤のフレームワークを用いて複数のモodalを統合することで、会話ベースの画像検索のパフォーマンスを向上させること。

提案手法

• Fashion IQデータセットには、類似した衣料品を区別するためのヒトが生成したキャプションを伴う10,000組の画像ペアが含まれる。
• 補助情報には、実世界の製品説明と、自動的に導出された視覚的属性ラベル（例：色、スリーブタイプ）が含まれる。
• トランスフォーマー基盤のユーザーサイミュレータは、画像の類似度と対話文脈に基づいて自然言語フィードバックを生成する。
• 対話型画像リtrieverは、クロスアテンション機構を通じて、視覚的特徴、視覚的属性、ユーザーフィードバック、対話履歴を統合する。
• モデルは、複数回の対話設定における検索精度を最適化するために、エンドツーエンドで訓練される。
• このフレームワークは、会話型ファッション検索設定において、画像からテキストへの検索とテキストから画像への検索の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 補助情報と自然言語フィードバックを組み合わせることで、会話設定下でのファッション画像検索の正確性が向上するか？
• RQ2 トランスフォーマー基盤のユーザーサイミュレータは、類似したファッションアイテムに対して、現実的で判別力のあるフィードバックを効果的に生成できるか？
• RQ3 視覚的属性を統合することで、画像特徴に依存するのみの状況と比較して、検索パフォーマンスがどの程度向上するか？
• RQ4 ファッション検索における多様なユーザーフィードバックパターンと対話履歴の下で、モデルはどの程度の性能を示すか？
• RQ5 提案されたフレームワークは、既存の最先端手法を会話ベースの画像検索において上回ることができるか？

主な発見

• Fashion IQデータセットは、類似した衣料品の高品質で対照的なキャプションを備えることで、会話ベースのファッション画像検索のための新しいベンチマークを提供する。
• 提案された対話型リtrieバは、視覚的特徴、属性、対話履歴を効果的に統合することで、最先端のパフォーマンスを達成した。
• 視覚的属性の統合は、衣料品同士の視覚的類似度が高い状況でも、検索の正確性を顕著に向上させた。
• トランスフォーマー基盤のユーザーサイミュレータは、人間の行動に近く、現実的で効果的な対話システムの質を高めるフィードバックを生成した。
• モデルは、多様なフィードバックタイプと対話ターンの下でも強固なパフォーマンスを示し、現実の会話設定における優れた一般化能力を示した。