[論文レビュー] OutfitTransformer: Learning Outfit Representations for Fashion Recommendation

Rohan Sarkar, Navaneeth Bodla+5 more|arXiv (Cornell University)|Apr 11, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

OutfitTransformerは、ファッションの適合性予測および大規模な補足アイテム検索を向上させるために、統合的でアウトレット単位の表現を学ぶTransformerベースのフレームワークを提案する。タスク固有のトークンとセットワイドなランク付け損失を用いることで、すべてのアウトレットアイテムにおけるグローバルな適合性を捉え、アウトレットのスタイルとターゲットカテゴリまたはテキスト記述に一致するアイテムを検索する。Polyvore Outfitsにおいて、検索されたアイテムの52.5％が人間の好みで正解よりも優れているという結果を得ており、最先端の手法を上回っている。

ABSTRACT

Learning an effective outfit-level representation is critical for predicting the compatibility of items in an outfit, and retrieving complementary items for a partial outfit. We present a framework, OutfitTransformer, that uses the proposed task-specific tokens and leverages the self-attention mechanism to learn effective outfit-level representations encoding the compatibility relationships between all items in the entire outfit for addressing both compatibility prediction and complementary item retrieval tasks. For compatibility prediction, we design an outfit token to capture a global outfit representation and train the framework using a classification loss. For complementary item retrieval, we design a target item token that additionally takes the target item specification (in the form of a category or text description) into consideration. We train our framework using a proposed set-wise outfit ranking loss to generate a target item embedding given an outfit, and a target item specification as inputs. The generated target item embedding is then used to retrieve compatible items that match the rest of the outfit. Additionally, we adopt a pre-training approach and a curriculum learning strategy to improve retrieval performance. Since our framework learns at an outfit-level, it allows us to learn a single embedding capturing higher-order relations among multiple items in the outfit more effectively than pairwise methods. Experiments demonstrate that our approach outperforms state-of-the-art methods on compatibility prediction, fill-in-the-blank, and complementary item retrieval tasks. We further validate the quality of our retrieval results with a user study.

研究の動機と目的

• 2点間の適合性モデリングの制限を克服するため、より高い順序のアイテム関係を捉える包括的なアウトレット単位の表現を学ぶこと。
• アウトレット適合性とターゲットアイテム仕様を両方ともエンコードする1つのインデックス可能で一貫した埋め込みを生成することで、大規模な補足アイテム検索を可能にすること。
• 事前学習とカリキュラム学習を用いて検索性能を向上させ、検索タスクにおける初期性能が低い問題を克服すること。
• 検索されたアイテムが上位にランク付けされているだけでなく、人間の評価者によって正解アイテムよりもスタイリッシュに評価されるか、同等以上に評価されることを検証すること。

提案手法

• 自己注意を用いて、すべてのアウトレットアイテムのグローバルかつ順列不変の表現を学ぶためのアウトレットトークンを導入。適合性予測の分類損失を用いて訓練する。
• 部分的なアウトレットの適合性とターゲットアイテムの記述（カテゴリまたはテキスト）を同時にエンコードするターゲットアイテムトークンを導入。これにより、一貫性があり適合性の高いアイテムの検索が可能になる。
• 新しいセットワイドなアウトレットランク付け損失を採用。これにより、適合性のあるアイテムが適合性のないアイテムよりも高い順位に位置づけられるように、ターゲットアイテム埋め込みを最適化する。
• 大規模なアウトレット単位の適合性データセットを用いた事前学習とカリキュラム学習を採用。これにより、一般化性能と検索性能が向上する。
• インデックス処理中にクエリとは独立して個々のアイテム埋め込みを抽出できるようにフレームワークを設計。これにより、効率的なKNNベースの大規模検索が可能になる。
• Transformerの能力を活用し、順序のないアウトレットセット内のすべてのアイテム間の複雑な非2点間の関係をモデル化できる。

Figure 1 : The proposed framework, OutfitTransformer, learns an outfit-level representation for a set of outfit items to address the CP and CIR tasks. For CIR, it learns a single embedding encoding overall compatibility of the partial outfit, and a target item description that is used to retrieve co

実験結果

リサーチクエスチョン

• RQ1 自己注意を用いて学習する統合的でアウトレット単位の表現は、2点間のモデリングを越えて、適合性予測と補足アイテム検索を向上させることができるか？
• RQ2 アウトレットとターゲット記述の両方に条件付けられた1つのターゲットアイテム埋め込みは、スタイリッシュに適合するアイテムの効果的でスケーラブルな検索を可能にするか？
• RQ3 アウトレットレベルでの学習は、アイテムペアやカテゴリペア手法と比較して、大規模検索における一般化性能と性能を向上させるか？
• RQ4 正解がトップ-k結果に含まれていなくても、人間が正解よりも優れたアイテムを検索できるか？

主な発見

• OutfitTransformerは、Polyvore Outfitsデータセットにおける3つのベンチマークタスク（適合性予測、穴埋め問題（FITB）、補足アイテム検索）で最先端の手法を上回った。
• ユーザー研究において52.5％の人の好みを得ており、これは検索されたアイテムが52.5％のケースで正解アイテムと同等以上に評価されたことを示しており、検索結果の質を裏付けている。
• セットワイドなアウトレットランク付け損失は、適合性のあるアイテムがアウトレット表現に近づくように促進することで、検索性能を顕著に向上させた。
• 事前学習とカリキュラム学習戦略は、特に訓練の初期段階で検索性能を著しく向上させた。
• 定性的な結果から、フレームワークはアウトレットのグローバルなスタイルと特定のテキストベースの記述に一致するアイテムを効果的に検索できていることが示された。
• モデルはさまざまなターゲットカテゴリと記述的クエリに対して良好に一般化しており、検索における頑健さと柔軟性を示した。

(a) Compatibility prediction