[論文レビュー] Learning Diverse Fashion Collocation by Neural Graph Filtering

Xin Liu, Yongbin Sun+2 more|arXiv (Cornell University)|Mar 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 8

ひとこと要約

本論文では、衣類をノードとして扱い、視覚的関係性をエッジとして扱うことで、ファッションのコロケーションをモデル化するニューラルグラフフィルタリングという、グラフニューラルネットワークフレームワークを提案する。これにより、柔軟で順序に依存しない推薦が可能となり、多様なスタイルを実現する。実世界の評価では、AUCスコアが10%以上向上し、ユーザーの好みも82.5%に達するなど、最先端の性能を達成している。

ABSTRACT

Fashion recommendation systems are highly desired by customers to find visually-collocated fashion items, such as clothes, shoes, bags, etc. While existing methods demonstrate promising results, they remain lacking in flexibility and diversity, e.g. assuming a fixed number of items or favoring safe but boring recommendations. In this paper, we propose a novel fashion collocation framework, Neural Graph Filtering, that models a flexible set of fashion items via a graph neural network. Specifically, we consider the visual embeddings of each garment as a node in the graph, and describe the inter-garment relationship as the edge between nodes. By applying symmetric operations on the edge vectors, this framework allows varying numbers of inputs/outputs and is invariant to their ordering. We further include a style classifier augmented with focal loss to enable the collocation of significantly diverse styles, which are inherently imbalanced in the training set. To facilitate a comprehensive study on diverse fashion collocation, we reorganize Amazon Fashion dataset with carefully designed evaluation protocols. We evaluate the proposed approach on three popular benchmarks, the Polyvore dataset, the Polyvore-D dataset, and our reorganized Amazon Fashion dataset. Extensive experimental results show that our approach significantly outperforms the state-of-the-art methods with over 10% improvements on the standard AUC metric on the established tasks. More importantly, 82.5% of the users prefer our diverse-style recommendations over other alternatives in a real-world perception study.

研究の動機と目的

• 固定された入力／出力長さを仮定するか、安全で繰り返しのあるスタイルを好む傾向にある、従来のファッション推薦システムにおける柔軟性と多様性の欠如に対処する。
• ユーザー固有のデータに依存せずに、可変長の衣類セットと多様なスタイル出力（例：類似色、補色）をサポートするファッションコロケーションを可能にする。
• 特に「モノクローム」のようなレアスタイルに偏ったファッションスタイル分布のデータインバランスを、ファーカルロス最適化によるスタイル分類で克服する。
• 包括的な多様性評価を可能にするために、スタイルベースのアノテーションを施したAmazon Fashionデータセットを再構築する。

提案手法

• ファッションアイテムをグラフ内のノードとしてモデル化し、深層ネットワークからの視覚的埋め込みをノード特徴量とし、衣類間の関係性をエッジ特徴量として符号化する。
• メッセージ伝達の過程で、対称的かつ順序に依存しない関数（例：和または平均プーリング）をエッジベクトルに適用することで、順序不変性を確保し、可変サイズのグラフに対応する。
• エッジ中心のメッセージ伝達を実行：隣接するエッジからの情報を集約してエッジ表現を更新し、複雑な適合性パターンを捉える。
• トレーニング中に頻度の高いスタイルとレアなスタイルの両方の認識をバランスさせるために、ファーカルロスを用いたスタイル分類器を統合する。
• 集約されたエッジ特徴量に基づいて、全体のセット適合性を計算する適合性スコアヘッドを採用し、柔軟な出力生成を可能にする。
• 対照学習と適合性損失を用いて、ファーカルロスによるスタイルに配慮した監視を分類器ヘッドに与えることで、エンド・ツー・エンドで全フレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのフレームワークは、固定されたテンプレートに依存せずに、可変長の入力および出力セットをサポートする柔軟なファッションコロケーションを達成できるか？
• RQ2 対称的エッジ操作を備えたグラフニューラルネットワークは、異なる入力順序に対してどれほど性能と不変性を維持できるか？
• RQ3 ファーカルロスを用いたスタイルに配慮した分類器は、ファッションスタイル分布における極端なクラス不均衡をどれほど効果的に処理できるか？
• RQ4 提案手法は、従来のSOTAアプローチと比較して、より多様でユーザーに好まれるファッションコロケーションを生成できるか？
• RQ5 再編集され、スタイルアノテーションが付加されたAmazon Fashionデータセットは、ファッション推薦における多様性評価のための信頼できるベンチマークとして機能できるか？

主な発見

• 提案されたニューラルグラフフィルタリングフレームワークは、Polyvore、Polyvore-D、および再編集されたAmazon Fashionデータセットの3つのベンチマークにおいて、標準的なAUC指標で10%以上の絶対的向上を達成した。
• 40名のユーザーを対象とした実世界の認知評価研究では、82.5%のユーザーがモデルが生成した多様なスタイルの推薦を他の選択肢よりも好んだ。これは、ユーザーの高い受容性を示している。
• モデルはデータインバランスに対しても効果的に対処しており、ファーカルロスのおかげで、「モノクローム」のようなレアスタイルの認識が向上し、かつてトレーニングデータで不足していたスタイルも適切に扱えるようになった。
• フレームワークは入力順序や可変なセットサイズに対しても頑健であり、多様な構成においても高い適合性予測精度を維持した。
• ユーザー調査の結果、年齢層（20–40歳：89%）、性別（男性：84%、女性：89%）を問わず、モデルの推薦が一貫して好まれており、広範な人気を獲得していることが示された。
• PolyvoreおよびAmazon Fashionデータセットにおける可視化結果から、モデルが、時計やスカーフのような挑戦的なアイテムを条件にしても、多様で整合性のあるファッションセットを生成できることを確認した。