[論文レビュー] Learning Tuple Compatibility for Conditional OutfitRecommendation

Xuewen Yang, Dongliang Xie+4 more|arXiv (Cornell University)|Aug 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 4

ひとこと要約

本論文では、ファッションアイテム間のタプルレベルの適合性を学習するために、細分化されたカテゴリと粗いカテゴリ情報を統合的にモデル化するための混合カテゴリアテンションネットワーク（MCAN）を提案する。タプル三重項学習とハードネガティブサンプリングを活用することで、制御可能で多様かつ順序に依存しない推薦を実現し、適合性予測および「穴埋め問題（fill-in-the-blank）」タスクにおいて、Polyvoreおよび新しいIQONデータセットの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Outfit recommendation requires the answers of some challenging outfit compatibility questions such as 'Which pair of boots and school bag go well with my jeans and sweater?'. It is more complicated than conventional similarity search, and needs to consider not only visual aesthetics but also the intrinsic fine-grained and multi-category nature of fashion items. Some existing approaches solve the problem through sequential models or learning pair-wise distances between items. However, most of them only consider coarse category information in defining fashion compatibility while neglecting the fine-grained category information often desired in practical applications. To better define the fashion compatibility and more flexibly meet different needs, we propose a novel problem of learning compatibility among multiple tuples (each consisting of an item and category pair), and recommending fashion items following the category choices from customers. Our contributions include: 1) Designing a Mixed Category Attention Net (MCAN) which integrates both fine-grained and coarse category information into recommendation and learns the compatibility among fashion tuples. MCAN can explicitly and effectively generate diverse and controllable recommendations based on need. 2) Contributing a new dataset IQON, which follows eastern culture and can be used to test the generalization of recommendation systems. Our extensive experiments on a reference dataset Polyvore and our dataset IQON demonstrate that our method significantly outperforms state-of-the-art recommendation methods.

研究の動機と目的

• 既存のオシャレアイテム推薦システムが粗いカテゴリまたは細分化されたカテゴリ情報にのみ依存するという限界に対処し、柔軟性に欠けたり精度が低くなるのを防ぐ。
• アイテムレベルでの適合性ではなく、アイテム-カテゴリのペア（タプル）レベルでの適合性をモデル化することで、より正確で制御可能な推薦を実現する。
• アイテムの順序に依存しない推薦が可能であり、粗いカテゴリおよび細分化されたカテゴリの両方のクエリを柔軟に処理できる推薦システムの構築。
• オシャレアイテム推薦システムの評価および一般化性能のテストを支援する、文化的に多様な新しいデータセットIQONを提供すること。
• 統一されたアテンションベースのアーキテクチャを用いて、視覚的美意識と複数レベルのカテゴリ情報の両方を統合し、適合性学習を向上させること。

提案手法

• 細分化されたカテゴリと粗いカテゴリ情報を別々の埋め込み層を用いてアイテム表現に統合する、混合カテゴリアテンションネットワーク（MCAN）を提案する。
• アイテム-カテゴリタプル間の適合性をモデル化するためのタプル三重項学習を導入し、ポジティブタプルは同じオシャレセットに属し、ネガティブタプルは異なるオシャレセットからサンプリングする。
• 困難なネガティブ例に焦点を当てるために、セミハードおよびハードネガティブサンプリングを採用し、適合性空間の識別力を向上させる。
• アイテムの順序に依存しない推薦を可能にするために、カテゴリ予測層（CPL）を統合し、アイテムシーケンスとカテゴリシーケンスを一致させる。
• マルチヘッド自己アテンションおよびクロスアテンションメカニズムを用いて、アイテムとカテゴリ間の相互作用をモデル化し、複雑な適合性パターンを捉える。
• 粗いカテゴリまたは細分化されたカテゴリの部分的入力を条件として用いることで、6つの異なる推薦タスクをサポートし、多様で制御可能なオシャレセット生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 統一されたモデルが、細分化されたカテゴリと粗いカテゴリ情報の両方を統合的に活用しながら、ファッションアイテム間の適合性を効果的に学習できるか。
• RQ2 混合カテゴリアテンションの統合が、順序付きまたはペアワイズモデルと比較して、推薦の制御性および多様性をどの程度向上させるか。
• RQ3 提案されたMCANモデルが、文化的に異なるデータセットを含むさまざまなデータ分布にどの程度一般化できるか。
• RQ4 カテゴリ予測層（CPL）の導入が、アイテムの順序に依存しない推薦の堅牢性を顕著に向上させるか。
• RQ5 ハードネガティブサンプリングを用いたタプル三重項学習は、適合性予測性能の向上にどの程度有効であるか。

主な発見

• MCANは、PolyvoreおよびIQONの両方のデータセットにおいて、適合性予測および「穴埋め問題（FITB）」タスクで最先端の手法を顕著に上回る性能を発揮する。
• アイテムの順序に関係なく優れた性能を維持するため、順列に依存しないという点で、BiLSTMのような順序付きモデルとは異なり、高い頑健性を示す。
• カテゴリ予測層（CPL）の導入により、MCANは順序フリーとなり、テスト時のアイテム順序が学習時と異なる場合でも高い性能を維持する。
• MCANは、粗いカテゴリまたは細分化されたカテゴリの部分的入力を用いた6つの異なる推薦シナリオにおいて、多様で制御可能な推薦を生成する。
• ターゲットアイテムの視覚的およびスタイリング的に適合する代替アイテムを効果的に推薦でき、同じカテゴリのアイテムをランダムに選ぶのと比較して、視覚的整合性とスタイルの整合性が優れている。
• 東洋文化圏の文脈で収集された新しいIQONデータセットにより、オシャレアイテム推薦システムの一般化性能および文化的多様性の評価がより適切に行えるようになった。