[論文レビュー] Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences

Andreas Veit, Balázs Kovács+4 more|arXiv (Cornell University)|Sep 24, 2015

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 41

ひとこと要約

本論文では、異種の二項共起（例：アマゾンの同時購入データを介して頻繁に共起する、異なるカテゴリの衣料品ペア）から視覚的スタイル空間を学習するシアンプルCNNフレームワークを提案する。カテゴリ間の適合/不適合ペアを戦略的にサンプリングすることで、モデルは画像を、スタイル的に適合するアイテムが潜在空間で近くなるように埋め込む。これにより、包括的なマルチカテゴリのコーディネートの正確な検索が可能となり、ImageNet特徴量や非戦略的サンプリングベースラインを上回る性能を示す。

ABSTRACT

With the rapid proliferation of smart mobile devices, users now take millions of photos every day. These include large numbers of clothing and accessory images. We would like to answer questions like `What outfit goes well with this pair of shoes?' To answer these types of questions, one has to go beyond learning visual similarity and learn a visual notion of compatibility across categories. In this paper, we propose a novel learning framework to help answer these types of questions. The main idea of this framework is to learn a feature transformation from images of items into a latent space that expresses compatibility. For the feature transformation, we use a Siamese Convolutional Neural Network (CNN) architecture, where training examples are pairs of items that are either compatible or incompatible. We model compatibility based on co-occurrence in large-scale user behavior data; in particular co-purchase data from Amazon.com. To learn cross-category fit, we introduce a strategic method to sample training data, where pairs of items are heterogeneous dyads, i.e., the two elements of a pair belong to different high-level categories. While this approach is applicable to a wide variety of settings, we focus on the representative problem of learning compatible clothing style. Our results indicate that the proposed framework is capable of learning semantic information about visual style and is able to generate outfits of clothes, with items from different categories, that go well together.

研究の動機と目的

• 細かな属性や豊富な手動アノテーションに依存せずに、異なる衣料カテゴリ間の意味的適合性を捉える視覚的スタイル空間を学習すること。
• 細かな属性や広範な手動アノテーションに依存せずに、カテゴリ間適合性を学習する課題に対処すること。
• アマゾンの同時購入など、異種の二項共起（例：共購入アイテム）を用いた、多様な衣料カテゴリにわたる一般化を向上させる、堅牢なトレーニング戦略の開発。
• 異なるカテゴリ間で学習されたスタイル空間における最近傍探索を活用し、構造的なコーディネート生成を可能にすること。
• 定量的指標と人間のスタイル適合性認識に関するユーザースタディーを用いて、モデルの性能をベースラインと比較すること。

提案手法

• フレームワークは、互いに類似するアイテムが潜在スタイル空間で近くなるように、画像空間から潜在スタイル空間への特徴変換を学習するため、シアンプル畳み込みニューラルネットワーク（CNN）を用いる。
• トレーニングペアは、異種の二項ペアとしてサンプリングされる—つまり、異なるハイレベルカテゴリ（例：靴とシャツ）に属するアイテムで、アマゾンの同時購入などのユーザ行動データにおいて頻繁に共起するもの。
• 対照的損失関数を用いて、適合ペア間の距離を最小化し、不適合ペア間の距離を最大化することでモデルをトレーニングする。
• 実世界の共起データに存在するラベルノイズに対処するため、堅牢な最近傍検索手法を適用し、信頼性の高いコーディネート生成を可能にする。
• コーディネートは、基準アイテムをスタイル空間でクエリし、他のすべてのカテゴリから最近傍を検索することで生成する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、細かな属性に依存せずに、カテゴリ間の衣料スタイル適合性を捉える意味のある視覚的スタイル空間を学習できるか？
• RQ2 異種の二項共起を戦略的にサンプリングすることで、ランダムまたは単純なサンプリングと比較して、適合性予測がどの程度向上するか？
• RQ3 学習されたスタイル空間は、未観測の衣料カテゴリにどの程度一般化できるか？
• RQ4 人間のユーザーは、予測されたコーディネートの適合性を、ベースラインモデルと比較してどのように認識するか？
• RQ5 客観的な適合性指標を超えて、人間の判断に影響を与える要因は何か？

主な発見

• 戦略的サンプリングを用いた本手法は、'一緒に購入された'共起データで82.6%のAUCを達成し、アンモナスなImageNet特徴量ベースライン（67.5%）および非戦略的サンプリングベースラインを顕著に上回った。
• '一緒に購入された'データセットでは、83.1%の精度を達成し、ベースラインの88.7%を下回ったが、依然として強力な競争性能を示した。
• ユーザースタディーでは、モデルが4つのテストケースのうち2つでランダム選択および単純なサンプリングベースラインを上回り、2つの状況で統計的に有意な好みが得られた。
• 本モデルは、未観測の衣料カテゴリへの学習済みスタイル特徴の転送性を示し、堅牢な一般化を示した。
• ユーザーベースのアンケート結果から、スタイル適合性が意思決定の唯一の要因ではないことが明らかになった—機能性、視覚的類似性、および個人の好みも重要な役割を果たしている。