[論文レビュー] Learning Color Compatibility in Fashion Outfits

Heming Zhang, Xuewen Yang+4 more|arXiv (Cornell University)|Jul 5, 2020

Color Science and Applications参考文献 50被引用数 8

ひとこと要約

本論文では、ファッションのコーディネートにおける色の相性を学習するための新しいグラフベースのフレームワークを提案する。アイテム間のペアワイズ関係をグラフのノードとしてモデル化することで、相性予測の向上とテンプレートの発見が可能になる。真のラベルと疑似ラベル付きのデータを用いた弱教師付き学習により、従来の最先端手法と同等の性能を達成し、画像特徴量を用いる手法と同等の色情報のみのモデル性能を実現。さらに、学習された色の相性テンプレートに基づいたカスタマイズされたレコメンデーションも可能となる。

ABSTRACT

Color compatibility is important for evaluating the compatibility of a fashion outfit, yet it was neglected in previous studies. We bring this important problem to researchers' attention and present a compatibility learning framework as solution to various fashion tasks. The framework consists of a novel way to model outfit compatibility and an innovative learning scheme. Specifically, we model the outfits as graphs and propose a novel graph construction to better utilize the power of graph neural networks. Then we utilize both ground-truth labels and pseudo labels to train the compatibility model in a weakly-supervised manner.Extensive experimental results verify the importance of color compatibility alone with the effectiveness of our framework. With color information alone, our model's performance is already comparable to previous methods that use deep image features. Our full model combining the aforementioned contributions set the new state-of-the-art in fashion compatibility prediction.

研究の動機と目的

• ファッションのコーディネート相性予測において長年にわたり軽視されてきた色の相性の役割を解決すること。
• 手作業で作成したルールに依存せずに、ファッションデータから直接色の相性テンプレートを学習するデータ駆動型のアプローチを開発すること。
• 全コーディネートをグラフとしてモデル化することで、ペアワイズスコアではなくアイテム間の関係に注目し、相性予測を向上させること。
• クラスタリングと相性予測の共同学習により、解釈可能な色の相性テンプレートを発見し、カスタマイズされたファッションレコメンデーションを可能にすること。

提案手法

• 各ペアワイズアイテム関係をノードとするグラフとしてファッションのコーディネートをモデル化し、GNNが効果的に相性情報を集約できるようにする。
• ノードレベルからエッジレベルの表現に焦点を移す、新たなグラフ構築法を提案することで、コーディネート全体の相性をよりよく捉える。
• 真の二値ラベルとクラスタリングから得た疑似ラベル付きクラスタを組み合わせた弱教師付き学習スキームを採用してモデルを訓練する。
• クラスタリングをトレーニングループに統合することで、意味のある人間が解釈可能な相性テンプレートを生成し、モデルの一般化性能を向上させる。
• 相性の良いコーディネートに対してクラスタリングを適用し、類似色やコントラスト色のペア（例：ネイビーブlueとイエロー）といった明確な色の相性パターンを発見する。
• 学習された相性テンプレートを活用して、クエリコーディネートの色プロファイルに基づいたパーソナライズドレコメンデーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 深層画像特徴量を用いる手法と比較して、色情報のみでファッション相性予測において競争力のある性能を達成できるか？
• RQ2 手作業で作成したルールに依存せずに、実世界のファッションデータから解釈可能な色の相性テンプレートを学習できるか？
• RQ3 相性予測とクラスタリングの共同学習は、モデル性能とテンプレート発見の両面で性能向上をもたらすか？
• RQ4 異なる色の相性パターン（例：類似色対比色）は、学習されたコーディネートクラスタにどのように現れるか？
• RQ5 学習された色の相性テンプレートは、より多様でカスタマイズ可能なファッションレコメンデーションを可能にするか？

主な発見

• 色情報のみを用いた本手法は、深層画像特徴量を用いる従来の最先端手法と同等の性能を達成した。
• グラフベースの相性学習と共同クラスタリングを統合した本手法は、FITB相性予測タスクで新たな最先端性能を樹立した。
• トレーニングに疑似ラベル付きクラスタを組み込むことで、FITB精度が2%向上し、ベースラインと比較して共同学習により6%の向上を達成した。
• 可視化結果から、モデルが明確で解釈可能な色の相性テンプレート（例：類似色のコーディネート、ネイビーブルーとイエローのコントラストペア）を学習していることが確認された。
• モデルは色の類似性だけでなく、背後にある相性パターンに基づいてコーディネートをグループ化できており、意味のあるテンプレート発見が成功したことを示している。
• 学習された色のテンプレートに基づくレコメンデーションは、クエリコーディネートの状況に応じて類似色またはコントラスト色を提案するなど、よりカスタマイズされ、文脈に即したものであることがわかった。