[論文レビュー] Complete the Look: Scene-based Complementary Product Recommendation

Wang-Cheng Kang, Eric Kim+3 more|arXiv (Cornell University)|Dec 4, 2018

Visual Attention and Saliency Detection参考文献 46被引用数 5

ひとこと要約

本稿では、CNNとアテンションメカニズムを用いて現実世界のシーン画像から補足的なファッション商品を推薦するための新しいタスクである「Complete the Look」（CTL）を導入する。本手法は、適合性予測において人間水準の正確性（75.8%）を達成し、製品のみを対象とするアプローチに比べて、シーンの文脈が推薦品質を著しく向上させることを示している。

ABSTRACT

Modeling fashion compatibility is challenging due to its complexity and subjectivity. Existing work focuses on predicting compatibility between product images (e.g. an image containing a t-shirt and an image containing a pair of jeans). However, these approaches ignore real-world 'scene' images (e.g. selfies); such images are hard to deal with due to their complexity, clutter, variations in lighting and pose (etc.) but on the other hand could potentially provide key context (e.g. the user's body type, or the season) for making more accurate recommendations. In this work, we propose a new task called 'Complete the Look', which seeks to recommend visually compatible products based on scene images. We design an approach to extract training data for this task, and propose a novel way to learn the scene-product compatibility from fashion or interior design images. Our approach measures compatibility both globally and locally via CNNs and attention mechanisms. Extensive experiments show that our method achieves significant performance gains over alternative systems. Human evaluation and qualitative analysis are also conducted to further understand model behavior. We hope this work could lead to useful applications which link large corpora of real-world scenes with shoppable products.

研究の動機と目的

• 現実世界のファッションシーンと製品ベースの推薦の間のギャップを埋めるために、新しいタスク「Complete the Look」（CTL）を導入すること。
• 主観的で、シーンがごちゃついており、ラベル付きデータが不足しているため、複雑なシーン-製品適合性を学習する課題に対処すること。
• 既存のStreet2Shop（STL）データセットをクローピングベースの拡張によって活用し、CTLのためのトレーニングデータを生成するデータ構築手法を設計すること。
• 共通の埋め込み空間内でカテゴリーガイド付きアテンションを用いて、グローバルおよびローカルに適合性を測る統合モデルを構築すること。
• 定量的および定性的な評価、特に人間のファッションセンスとの整合性を評価する人間評価を含め、モデルのパフォーマンスを評価すること。

提案手法

• 既存のStreet2Shop（STL）データセットを基に、クローピングベースのデータ拡張技術を用いて、シーン-製品ペアを生成し、CTLタスクのトレーニングを可能にする。
• 深層畳み込みニューラルネットワーク（CNN）を用いて、シーン画像および製品画像の両方からグローバル画像埋め込みを学習する。
• 領域提案ネットワークや類似手法を用いて、シーン内のオブジェクトレベルの領域からローカル埋め込みを抽出する。
• カテゴリーガイド付きアテンション機構を適用し、シーン内の関連する視覚的部分に注目することで、シーンと製品間の適合性推定を向上させる。
• 統合されたスタイル空間で適合性スコアを計算し、グローバルおよびローカル特徴を組み合わせて、製品がシーンにどれほど補完的であるかを予測する。
• 上位K件の推薦パフォーマンスを最適化するために、コントラスト学習またはランク学習損失を用いて、エンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 シーン画像は、体形、季節、スタイルなどの意味のある文脈的ヒントを提供することができ、製品のみを対象とするモデルに比べて、補足的製品推薦を向上させることができるか？
• RQ2 既存のデータセットにこのようなラベルが欠落しているため、シーンベースの補足的製品推薦のための大規模かつ高品質なデータセットをどのように構築できるか？
• RQ3 カテゴリーガイド付きアテンションで強化された、グローバルおよびローカル特徴を含む統合埋め込み空間は、適合性予測をどの程度向上させるか？
• RQ4 モデルのパフォーマンスは、曖昧または主観的な状況において、人間のファッション感覚とどの程度一致するか？
• RQ5 モデルは、ファッションに加えてインテリアデザインなど、他のドメインに対しても、ドメイン特化の再トレーニングなしに一般化可能か？

主な発見

• 提案手法は、データセットラベルベンチマークで75.8%の正確性を達成し、BPR-DAE やシアンプスネットワークを含むすべてのベースラインを上回った。
• モデルは人間水準のパフォーマンスに達し、同じテストセットでファッション専門家が75.0%を達成したのと同等の75.8%の正確性を示した。
• 専門家とデータセットラベルが一致する明確なケースのサブセットで評価したところ、モデルは65.0%の正確性を達成し、すべてのベースラインを上回った。
• 人間評価により、モデルの推薦が人間のファッションセンスと整合していることが確認され、人間の判断を基準にした場合、他のモデルを上回った。
• 定性的な分析から、モデルは単なる色や形の一致を超えて、複雑なスタイル適合性を捉えていることが示された。例えば、色の違いがあるにもかかわらず、ミニマリスティックなランプを好む傾向がある。
• アテンション機構は、適合性スコアが高い関連視覚領域（例：アウター、帽子）を的確に強調しており、有効に機能していることがわかった。