[论文解读] Fashion Forward: Forecasting Visual Style in Fashion

Ziad Al-Halah, Rainer Stiefelhagen+1 more|arXiv (Cornell University)|May 18, 2017

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 24

一句话总结

本文提出一种基于视觉的方法，通过无监督学习从无标注时尚图像中发现潜在视觉风格，实现对未来时尚风格趋势的预测。该方法利用深度特征与非负矩阵分解（NMF）建模风格动态并预测未来流行度，在Top-50属性排名预测中达到88%的准确率，优于基于文本的方法，实现对复兴或新兴趋势的早期检测。

ABSTRACT

What is the future of fashion? Tackling this question from a data-driven vision perspective, we propose to forecast visual style trends before they occur. We introduce the first approach to predict the future popularity of styles discovered from fashion images in an unsupervised manner. Using these styles as a basis, we train a forecasting model to represent their trends over time. The resulting model can hypothesize new mixtures of styles that will become popular in the future, discover style dynamics (trendy vs. classic), and name the key visual attributes that will dominate tomorrow's fashion. We demonstrate our idea applied to three datasets encapsulating 80,000 fashion products sold across six years on Amazon. Results indicate that fashion forecasting benefits greatly from visual analysis, much more than textual or meta-data cues surrounding products.

研究动机与目标

• 为解决超越单个商品流行度的未来时尚趋势预测挑战，通过建模集体视觉风格演化来实现。
• 从无标注时尚图像中发现细粒度、中层视觉风格，而无需依赖预标注的风格类别。
• 预测所发现风格的未来流行度，并识别其生命周期阶段（如：流行中、经典、复兴中）。
• 预测未来可能流行的主导视觉属性（如：颜色、纹理、形状），实现可解释的趋势洞察。
• 证明视觉表征在时尚趋势预测准确性上优于文本或元数据线索。

提出的方法

• 使用有监督的深度卷积神经网络从时尚图像中预测服装属性（如：颜色、纹理）。
• 应用非负矩阵分解（NMF）从属性组合中发现潜在风格词汇表，构建中层视觉风格。
• 在可用时将文本数据融入视觉特征，以提升风格发现的鲁棒性。
• 在潜在风格表征上训练时间序列预测模型，以预测其随时间的流行度。
• 使用公式 $ p(a_m|t) = \sum_{s_k \in S} p(a_m|s_k) p(s_k|t) $ 基于预测的风格流行度推断单个属性的未来流行度。
• 通过分析风格流行度的时间轨迹来建模风格动态，将其分类为如流行、经典或复兴等类别。

实验结果

研究问题

• RQ1 仅使用图像数据和无监督学习，能否提前预测视觉风格趋势？
• RQ2 所发现的视觉风格与传统时尚类别相比，在捕捉有意义的风格动态方面表现如何？
• RQ3 视觉特征在时尚趋势预测中相对于文本或元数据特征的优越程度如何？
• RQ4 该模型是否不仅能预测哪些风格将变得流行，还能预测未来将主导的属性（如：颜色、纹理）？
• RQ5 该模型能否仅从其流行度轨迹中识别出风格的生命周期阶段（如：新兴、衰退、经典）？

主要发现

• 模型在预测属性的Top-10流行度排名中与真实值的交集达到90%，Top-25为84%，Top-50为88%。
• 基于学习到的视觉语义属性的视觉表征，在预测准确性上显著优于现成的CNN特征和基于文本的表征。
• 模型成功识别出五类不同的风格动态：过时、经典、流行、不受欢迎和复兴风格，如时间轨迹图所示。
• 在连衣裙类别中，对纹理和形状属性的预测流行度与真实值高度吻合，包括正确的排名和相对大小。
• 该方法通过将未来流行度与关键视觉属性和风格特征关联，实现了可解释的趋势预测。
• 通过聚焦于集体视觉风格而非受价格或营销影响的单个商品流行度，该模型提供了更稳定、更具代表性的时尚趋势视图。