[論文レビュー] Fashion IQ: A New Dataset Towards Retrieving Images by Natural Language Feedback

Hui Wu, Yupeng Gao+5 more|arXiv (Cornell University)|May 30, 2019

Multimodal Machine Learning Applications参考文献 76被引用数 28

ひとこと要約

本論文は、ファッション画像検索のための新しいデータセットFashion IQを紹介する。このデータセットは、人間がアノテートした相対的キャプションと、製品から導出された視覚的属性を組み合わせたものである。本論文では、自然言語フィードバック、画像特徴、属性を統合的に活用するトランスフォーマー基盤のユーザーサイミュレータおよびリtrieverを提案し、マルチモーダル相互作用のより良いモデリングにより、従来のRNNベースの手法を上回る最先端の性能を達成した。

ABSTRACT

Conversational interfaces for the detail-oriented retail fashion domain are more natural, expressive, and user friendly than classical keyword-based search interfaces. In this paper, we introduce the Fashion IQ dataset to support and advance research on interactive fashion image retrieval. Fashion IQ is the first fashion dataset to provide human-generated captions that distinguish similar pairs of garment images together with side-information consisting of real-world product descriptions and derived visual attribute labels for these images. We provide a detailed analysis of the characteristics of the Fashion IQ data, and present a transformer-based user simulator and interactive image retriever that can seamlessly integrate visual attributes with image features, user feedback, and dialog history, leading to improved performance over the state of the art in dialog-based image retrieval. We believe that our dataset will encourage further work on developing more natural and real-world applicable conversational shopping assistants.

研究の動機と目的

• キーワードや属性に基づくファッション検索インターフェースの限界、すなわち硬直的で表現力に欠ける点を是正すること。
• 自由形式の自然言語フィードバックを用いた、より自然で使いやすい会話型インターフェースを、ファッション画像検索に開発すること。
• 具体的には、製品説明や視覚的属性といった補助情報が、会話型画像検索の性能にどのように寄与するかを調査すること。
• 大規模なアノテート済み会話データに依存するのを減らし、構造化された補助情報を活用することで、モデルの一般化性能と学習効率を向上させること。
• 複雑で複合的かつ比較的なユーザークエリをサポートできる、インタラクティブファッション検索のベンチマークを確立すること。

提案手法

• 著者らは、類似する衣料品ペairに対して10,000件の人がアノテートした相対的キャプションに加え、導出された視覚的属性と製品説明を備えた新しいデータセットFashion IQを導入した。
• トランスフォーマー基盤のユーザーサイミュレータは、画像埋め込みと属性ベクトルに基づいて自然言語フィードバックを生成し、自己注意機構を用いてユーザーの意図をモデリングする。
• インタラクティブな画像リtrieverは、マルチモーダルトランスフォーマーを用い、画像特徴、自然言語フィードバックの埋め込み（GloVe経由）、視覚的属性を統合して1つの統一されたクエリ表現を生成する。
• モデルは、リtrieval用のトリプレット損失と、キャプション生成用の交差エントロピー損失を用いて学習され、キャプション生成とリtrievalの両タスクを共同最適化可能である。
• 属性予測は、データセットの属性ラベル上でEfficientNet-B7バックボーンを微調整することで、各画像について上位8つの属性を抽出する。
• フレームワークは、キャプション生成器、リtriever、属性予測器のエンドツーエンド学習を統合し、シミュレートされた対話ターンを通じて動的相互作用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定された属性インターフェースと比較して、自然言語フィードバックはファッション画像検索の表現力と正確性を向上させるか？
• RQ2 製品説明から導出された視覚的属性は、会話型画像検索システムの性能にどのように寄与するか？
• RQ3 補助情報の活用によって、会話型リtrievalモデルの学習に必要な大規模なアノテート済み会話データの必要性はどの程度減少するか？
• RQ4 自然言語フィードバックと視覚的属性を組み合わせることで、単独で使用する場合よりも一般化性能と性能が向上するか？
• RQ5 統一されたトランスフォーマー基盤のアーキテクチャは、1つのエンドツーエンドフレームワーク内で、ユーザーのフィードバック、画像コンテンツ、属性を効果的にモデリングできるか？

主な発見

• 提案されたトランスフォーマー基盤のモデルは、従来のSOTA RNNベースの手法を上回り、属性統合を組み込んだ場合、スカートで80.6 CIDEr、シャツで92.1 CIDErを達成した。
• 会話型画像検索において、属性に配慮したモデルはスカートで5回目のターンのリcallを66.56%に達成し、前回のSOTAを大きく上回った。
• 視覚的属性の導入により、全カテゴリでリtrieval性能が向上し、特にシャツで最も顕著な向上が見られた（R@5: 66.56% vs. 61.76% without attributes）。
• 属性に配慮したキャプション生成モデルは、全カテゴリでCIDErスコアを2.1～3.0ポイント向上させ、属性がキャプション品質を向上させることを示した。
• 自己注意を用いた自然言語フィードバック、画像特徴、属性の共同モデリングにより、より一貫性があり正確なユーザーサイミュレーションとリtrieval結果が得られた。
• 最小限のハンドエーギュレーションと、大規模な会話データへの依存の低減を実現したため、スケーラビリティと実世界への適用可能性が示された。