[论文解读] Learning Diverse Fashion Collocation by Neural Graph Filtering

Xin Liu, Yongbin Sun+2 more|arXiv (Cornell University)|Mar 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 8

一句话总结

本文提出神经图滤波（Neural Graph Filtering），一种图神经网络框架，通过将服装视为节点、其视觉关系视为边，实现灵活、顺序无关的时尚搭配推荐，支持多样化风格。该方法在真实世界评估中实现SOTA性能，AUC提升超过10%，用户偏好度达82.5%。

ABSTRACT

Fashion recommendation systems are highly desired by customers to find visually-collocated fashion items, such as clothes, shoes, bags, etc. While existing methods demonstrate promising results, they remain lacking in flexibility and diversity, e.g. assuming a fixed number of items or favoring safe but boring recommendations. In this paper, we propose a novel fashion collocation framework, Neural Graph Filtering, that models a flexible set of fashion items via a graph neural network. Specifically, we consider the visual embeddings of each garment as a node in the graph, and describe the inter-garment relationship as the edge between nodes. By applying symmetric operations on the edge vectors, this framework allows varying numbers of inputs/outputs and is invariant to their ordering. We further include a style classifier augmented with focal loss to enable the collocation of significantly diverse styles, which are inherently imbalanced in the training set. To facilitate a comprehensive study on diverse fashion collocation, we reorganize Amazon Fashion dataset with carefully designed evaluation protocols. We evaluate the proposed approach on three popular benchmarks, the Polyvore dataset, the Polyvore-D dataset, and our reorganized Amazon Fashion dataset. Extensive experimental results show that our approach significantly outperforms the state-of-the-art methods with over 10% improvements on the standard AUC metric on the established tasks. More importantly, 82.5% of the users prefer our diverse-style recommendations over other alternatives in a real-world perception study.

研究动机与目标

• 解决现有时尚推荐系统中灵活性与多样性不足的问题，这些系统通常假设输入/输出长度固定，或偏好安全、重复的风格。
• 实现支持可变长度服装集合和多样化风格输出（如类似色、互补色）的时尚搭配，且无需依赖用户特定数据。
• 通过焦点损失优化的风格分类，缓解时尚风格分布中的数据不平衡问题，特别是对稀有风格（如“单色”）的识别。
• 基于风格标注重构Amazon Fashion数据集，以支持对时尚推荐多样性进行全面评估。

提出的方法

• 将时尚单品建模为图中的节点，使用深度网络生成的视觉嵌入作为节点特征，服装间的关系通过边特征编码。
• 在消息传递过程中应用对称且排列不变的函数（如求和或平均池化）处理边向量，以确保顺序不变性并处理可变大小的图。
• 执行以边为中心的消息传递：聚合邻近边的信息以更新边表示，捕捉复杂的搭配模式。
• 集成带有焦点损失的风格分类器，以在训练过程中平衡对常见与稀有时尚风格的识别。
• 使用兼容性评分头，基于聚合的边特征计算整体集合兼容性，实现灵活的输出生成。
• 通过对比学习和兼容性损失端到端训练完整框架，并在分类器头上使用焦点损失实现风格感知监督。

实验结果

研究问题

• RQ1 基于图的框架能否在不依赖固定模板的前提下，实现支持可变长度输入和输出集合的灵活时尚搭配？
• RQ2 在不同输入顺序下，具有对称边操作的图神经网络在性能和不变性方面表现如何？
• RQ3 带有焦点损失的风格感知分类器在推荐过程中，能否有效应对时尚风格分布中的极端类别不平衡问题？
• RQ4 与现有SOTA方法相比，所提出方法是否能生成更多样化且更受用户青睐的时尚搭配？
• RQ5 重新组织并添加风格标注的Amazon Fashion数据集能否作为评估时尚推荐多样性的可靠基准？

主要发现

• 所提出的神经图滤波框架在三个基准数据集（Polyvore、Polyvore-D和重构后的Amazon Fashion数据集）上，时尚兼容性预测的AUC指标实现了超过10%的绝对提升。
• 在40名用户的现实世界感知研究中，82.5%的用户更偏好模型生成的多样化风格推荐，表明用户接受度高。
• 模型成功缓解了数据不平衡问题，焦点损失使对稀有风格（如“单色”）的识别能力显著提升，这些风格在以往训练数据中长期被低估。
• 该框架对输入顺序和可变集合大小具有鲁棒性，在各种配置下均保持高兼容性预测准确率。
• 用户研究结果表明偏好具有跨人群一致性：20–40岁用户中89%、男性用户中84%、女性用户中89%更偏好模型的推荐，凸显其广泛吸引力。
• 在Polyvore和Amazon Fashion数据集上的可视化结果证实，即使在以手表或围巾等挑战性单品为条件时，模型仍能生成多样且连贯的时尚搭配。