[論文レビュー] Fashion Recommendation and Compatibility Prediction Using Relational Network

Maryam Moosaei, Yusan Lin+1 more|arXiv (Cornell University)|May 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 7

ひとこと要約

本稿では、任意のサイズと順序のオシャレなアイテムのコンbinationsにおける相性を、視覚的および意味的特徴を活用して学習する関係性ネットワークベースのモデルであるFashionRNおよびFashionRN-VSEを提案する。これらのモデルは、49,740点のオシャレなコンbinationsを含むPolyvoreデータセットにおいて、相性予測および穴埋めタスクで最先端の性能を達成し、視覚的類似性を超えた相性を捉えた埋め込みを学習している。

ABSTRACT

Fashion is an inherently visual concept and computer vision and artificial intelligence (AI) are playing an increasingly important role in shaping the future of this domain. Many research has been done on recommending fashion products based on the learned user preferences. However, in addition to recommending single items, AI can also help users create stylish outfits from items they already have, or purchase additional items that go well with their current wardrobe. Compatibility is the key factor in creating stylish outfits from single items. Previous studies have mostly focused on modeling pair-wise compatibility. There are a few approaches that consider an entire outfit, but these approaches have limitations such as requiring rich semantic information, category labels, and fixed order of items. Thus, they fail to effectively determine compatibility when such information is not available. In this work, we adopt a Relation Network (RN) to develop new compatibility learning models, Fashion RN and FashionRN-VSE, that addresses the limitations of existing approaches. FashionRN learns the compatibility of an entire outfit, with an arbitrary number of items, in an arbitrary order. We evaluated our model using a large dataset of 49,740 outfits that we collected from Polyvore website. Quantitatively, our experimental results demonstrate state of the art performance compared with alternative methods in the literature in both compatibility prediction and fill-in-the-blank test. Qualitatively, we also show that the item embedding learned by FashionRN indicate the compatibility among fashion items.

研究の動機と目的

• 既存のファッションの相性モデルが固定されたアイテム順序、分類ラベル、またはペアワイズの相性のみを必要としているという限界を解消すること。
• 固定された順序やアイテム数に依存せず、任意の数のアイテムを含むオシャレなコンビネーション全体の相性を予測できるモデルを開発すること。
• 視覚的・意味的埋め込みを学習し、視覚的類似性を超えたファッションの相性を捉えること。
• 実世界の状況を想定した相性予測および穴埋めタスクの両方でモデルの性能を評価し、そのロバスト性を示すこと。

提案手法

• オシャレなコンビネーション内のアイテム同士のペアワイズ相互作用をモデル化するために関係性ネットワーク（RN）を用い、関係性を集約して全体の相性を予測する。
• オシャレなコンビネーション内のすべてのアイテムペア間の相性スコアを計算するために、シアン型の二重ネットワークアーキテクチャを採用する。
• 事前学習済みのDenseNetから視覚的特徴を統合し、FashionRN-VSEでは、CLIP風の対照的学習目的から得られる視覚的意味的埋め込み（VSE）を追加する。
• 微分可能なプーリング層を適用して、関係性スコアをオシャレなコンビネーション全体の1つの相性スコアに集約する。
• 正例のオシャレなコンビネーションでは高い相性スコア、負例では低いスコアを達成するように、対照的損失を用いてモデルをエンドツーエンドで訓練する。
• t-SNEを用いてFashionRNとDenseNetの学習済みアイテム埋め込みを可視化・比較し、相性に配慮した表現学習の向上を示している。

実験結果

リサーチクエスチョン

• RQ1 関係性ネットワークは、固定された順序のない、任意の数のアイテムを含むオシャレなコンビネーションの相性を効果的にモデル化できるか？
• RQ2 既存の最先端手法と比較して、本モデルは相性予測および穴埋めタスクでどの程度の性能を示すか？
• RQ3 学習済みのアイテム埋め込みは、視覚的類似性そのものではなく、実際のファッションの相性をどの程度反映しているか？
• RQ4 視覚的意味的埋め込み（VSE）を組み込むことで、穴埋めタスクにおける複数の相性の良い候補の区別が向上するか？

主な発見

• FashionRNは、Polyvoreデータセットにおける相性予測タスクで最先端の性能を達成し、すべてのベースライン手法を上回った。
• 穴埋めテストでは、FashionRNが最高の正確度を達成し、多くの場合、除外されたアイテムが上位2位以内にランクインした。
• 視覚的意味的埋め込み（FashionRN-VSE）の追加により、性能がさらに向上し、特に複数の相性の良い候補を区別する際に顕著だった。
• t-SNEの可視化結果から、FashionRNの埋め込みは、実際にコンビネーションで相性の良いアイテムをまとめており、DenseNetの埋め込みは視覚的類似性に基づいてアイテムをグループ化していることが示された。これにより、FashionRNが外見を越えた相性を捉えていることが明らかになった。
• モデルはサイズや順序が異なるオシャレなコンビネーションを効果的に処理でき、分類ラベルや固定順序の必要なしに入力の多様性にロバストであることが実証された。
• Bi-LSTMベースラインは、ベンチマークにノイズの多い負例が含まれていたため、性能が低かった。これは、本手法がカテゴリベースのフィルタリングではなく、相性に関する推論に優れていることを示している。