[論文レビュー] Learning Type-Aware Embeddings for Fashion Compatibility

Mariya I. Vasileva, Bryan A. Plummer+4 more|arXiv (Cornell University)|Mar 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 25

ひとこと要約

本稿では、共通の画像埋め込みをタイプ固有の部分空間に投影することにより、ファッションアイテムの類似性と相性の両方を統合的に学習するタイプに配慮した埋め込みモデルを提案する。アイテムタイプごとの相性スコアリングを分離することで、問題的な推移的関係を回避し、多様で文脈に配慮したクエリを可能にし、先行研究の最良手法よりも、オシャレの相性と穴埋め問題のベンチマークで3〜5%の性能向上を達成した。

ABSTRACT

Outfits in online fashion data are composed of items of many different types (e.g. top, bottom, shoes) that share some stylistic relationship with one another. A representation for building outfits requires a method that can learn both notions of similarity (for example, when two tops are interchangeable) and compatibility (items of possibly different type that can go together in an outfit). This paper presents an approach to learning an image embedding that respects item type, and jointly learns notions of item similarity and compatibility in an end-to-end model. To evaluate the learned representation, we crawled 68,306 outfits created by users on the Polyvore website. Our approach obtains 3-5% improvement over the state-of-the-art on outfit compatibility prediction and fill-in-the-blank tasks using our dataset, as well as an established smaller dataset, while supporting a variety of useful queries.

研究の動機と目的

• 単一空間の埋め込みにおけるファッション相性モデリングの限界に対処する。具体的には、タイプに依存しない表現が、推移的クラスタリングによって相性の悪いアイテム同士を近づけてしまう点を改善する。
• アイテムタイプごとの相性空間を学習することで、例えばあるアイテムの多様で相性の良い代替品を見つけるような、複雑で文脈に配慮したファッションクエリを可能にする。
• アイテムタイプを尊重する統一的でエンドツーエンドで訓練可能なモデルを用いて、標準的なファッション相性およびオシャレ完成タスクの性能を向上させる。

提案手法

• 画像特徴とテキスト記述の間の視覚的・意味的損失を用いて、共通の画像埋め込み空間を学習し、意味的に類似したアイテムがグローバル空間で近接するように保証する。
• 相性の観点から、グローバル埋め込みをタイプ固有の部分空間に写像するための学習されたプロジェクションを用いる。各アイテムタイプペア（例：トップス-シューズ、ボトムス-ジュエリー）に対して別個のプロジェクションを設定する。
• タイプ固有の埋め込み空間内で一般化された距離メトリックを用いて相性スコアを計算し、微細な、文脈依存の相性判断を可能にする。
• 類似性と相性を同時に最適化するため、シアン型アーキテクチャとトリプルット損失を用いてエンドツーエンドでモデルを訓練する。
• 実際の多様なファッションコンポジションをサポートするため、Polyvoreから収集した68,306件のユーザー作成オシャレデータセットを新規に作成した。
• t-SNE可視化を用いて、グローバルおよびタイプ固有の埋め込み空間の構造を分析し、色や形状などの外観要因における特化が顕在していることを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 統一された埋め込みモデルは、アイテムタイプの区別を尊重しながら、ファッションアイテムの類似性と相性を同時に学習できるか？
• RQ2 タイプに配慮したプロジェクションは、タイプに依存しないベースラインと比較して、標準的な相性およびオシャレ完成ベンチマークでどの程度性能を向上させるか？
• RQ3 タイプ固有の埋め込み空間は、グローバル空間と比較して、色や形状といった異なる視覚的属性をどの程度特化してエンコードしているか？
• RQ4 本モデルは、従来のモデルが処理できないような、例えば視覚的に多様な相性の良い代替品を複数見つけるような、複雑な幾何的ファッションクエリをサポートできるか？
• RQ5 本モデルは、トレーニングセットとテストセットに共通のアイテムが存在しない状況でも、未確認のアイテムやオシャレに一般化できるか？

主な発見

• 提案手法は、著者らの大きなデータセットおよび既存の小さなベンチマークの両方で、先行研究の最良手法よりもオシャレ相性予測で5%、穴埋め問題のオシャレ完成タスクで4%の性能向上を達成した。
• タイプに依存しないベースラインと比較して、顕著に優れた性能を発揮し、例えば帽子と両方相性が良いからといってシューズとブラウスを強制的に一致させてしまうような不適切な推移的関係を回避した。
• タイプ固有の埋め込み空間は、異なる視覚的属性に特化している—例えばスカーフ-ジュエリー空間は形状に重点を置くが、グローバル空間は色に支配されている—これにより、より洗練された相性モデリングが可能になった。
• 従来のモデルが単一空間設計のため処理できない、あるアイテムの視覚的に多様で相性の良い複数の代替品を特定するような、新たな有用なクエリをモデルがサポートしている。
• 共通のアイテムがない完全に未確認のオシャレに対してさえ、性能が安定しており、モデルの一般化能が高く、トレーニングセットの重複よりもテストセットの多様性の重要性が示された。