[論文レビュー] Theme-Matters: Fashion Compatibility Learning via Theme Attention

Jui-Hsin Lai, Bo Wu+4 more|arXiv (Cornell University)|Dec 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 6

ひとこと要約

本稿では、ファッションの適合性学習のためのテーマに配慮したアテンションモデルを提案し、14,000着のコーディネートと32のテーマラベルを備えた、初めての実世界のデータセット（Fashion32）を導入した。カテゴリ固有の埋め込み空間とテーマに配慮したアテンション機構を活用することで、テーマ条件付きの適合性予測において最先端のベースラインを上回り、コーディネートレベルの適合性予測で94.26% AUC、バッグに合うアイテムを特定するタスクで76.87%の正確度を達成した。

ABSTRACT

Fashion compatibility learning is important to many fashion markets such as outfit composition and online fashion recommendation. Unlike previous work, we argue that fashion compatibility is not only a visual appearance compatible problem but also a theme-matters problem. An outfit, which consists of a set of fashion items (e.g., shirt, suit, shoes, etc.), is considered to be compatible for a "dating" event, yet maybe not for a "business" occasion. In this paper, we aim at solving the fashion compatibility problem given specific themes. To this end, we built the first real-world theme-aware fashion dataset comprising 14K around outfits labeled with 32 themes. In this dataset, there are more than 40K fashion items labeled with 152 fine-grained categories. We also propose an attention model learning fashion compatibility given a specific theme. It starts with a category-specific subspace learning, which projects compatible outfit items in certain categories to be close in the subspace. Thanks to strong connections between fashion themes and categories, we then build a theme-attention model over the category-specific embedding space. This model associates themes with the pairwise compatibility with attention, and thus compute the outfit-wise compatibility. To the best of our knowledge, this is the first attempt to estimate outfit compatibility conditional on a theme. We conduct extensive qualitative and quantitative experiments on our new dataset. Our method outperforms the state-of-the-art approaches.

研究の動機と目的

• 既存のファッション適合性モデルが『ビジネス』や『カジュアル』のようなテーマ的文脈を無視するという限界に対処すること。
• 視覚的外観に依存するのではなく、特定のテーマに基づいてコーディネートの適合性を推定する手法を開発すること。
• 細分化されたファッションカテゴリとテーマラベルを備えた高品質で現実世界のデータセットを構築し、テーマに配慮したファッションモデリングを支援すること。
• ファッションのテーマとアイテムの適合性の関係を明示的にモデル化することで、より正確で文脈に配慮したファッション推薦を可能にすること。

提案手法

• 本手法は、三重項ネットワークと埋め込みマスクを用いたカテゴリ固有の部分空間学習により、各カテゴリごとに特徴を判別可能な部分空間にファッションアイテムを射影する。
• 入力されたテーマに応じて、ペアワイズの適合性を動的に重み付けするテーマアテンション機構を構築し、テーマ条件付きの適合性推定を可能にする。
• コーディネート内のすべてのアイテムペアについて、カテゴリ固有の埋め込み上でのマルチヘッドアテンション機構を用いて、テーマに配慮した適合性スコアを計算する。
• 最終的なコーディネート適合性スコアは、アテンションで重み付けされたペアワイズ適合性の集約によって得られ、コーディネートレベルのラベルを用いた教師ありのエンドツーエンド学習が可能になる。
• フレームワークは三重項ペアにおける対照的損失を用いて学習され、バックプロパゲーションによるエンドツーエンド学習で最適化される。
• モデルは新たに整備されたデータセット、Fashion32上で評価されており、14,000着のコーディネート、32のテーマ、152の細分化されたカテゴリでラベル付けされた40,000件のアイテムが含まれる。

実験結果

リサーチクエスチョン

• RQ1 『ビジネス』や『カジュアル』のような特定のテーマに条件づけることで、ファッションの適合性を著しく向上させることができるか？
• RQ2 粗いカテゴリではなく、細分化されたファッションカテゴリを組み込むことで、テーマに配慮した適合性モデリングにどのような向上がもたらされるか？
• RQ3 テーマ的文脈を無視するベースラインモデルと比較して、テーマアテンション機構が適合性予測にどの程度向上効果をもたらすか？
• RQ4 『スポーツ』『オフィス』『和装』『自然』といった多様なテーマに、本手法はどの程度一般化できるか？
• RQ5 共有埋め込み空間よりも、カテゴリ固有の埋め込み空間を用いることで、適合性推定がどのように改善されるか？

主な発見

• 提案手法は、全テストセットにおけるコーディネート適合性予測で94.26% AUCを達成し、テーマに配慮した設定下ですべてのベースラインを上回った。
• 『ビジネス』テーマでは、94.75% AUCと78.18% FITB正確度を達成し、次に優れた手法と比べて顕著に優れた性能を示した。
• 『学校』テーマでは、96.92% AUCと82.52% FITB正確度を達成し、多様な場面にわたる強い一般化性能を示した。
• 『やせ型』および『背が高め』の体型テーマグループでは、それぞれ94.63%および93.94% AUCを達成し、体型の変動に対しても頑健であることが示された。
• 『オフィス』『スポーツ』『男性／女性』の性別テーマを含む、すべてのテーマグループで、Type-AwareおよびTheme-Graphベースラインを一貫して上回った。
• アブレーションスタディの結果、カテゴリ固有の埋め込みとテーマアテンションの両方が不可欠であることが確認され、いずれのコンponentを削除すると性能が5%以上低下した。