[论文解读] Predicting Next-Season Designs on High Fashion Runway

Yusan Lin, Hao Yang|arXiv (Cornell University)|Jul 16, 2019

Fashion and Cultural Textiles参考文献 17被引用 5

一句话总结

本文提出了一种深度学习框架，利用32年来的时装秀图像预测下一季的高级时装秀设计。通过从视觉数据中学习系列与趋势嵌入，并使用RNN/LSTM建模设计师风格的演变，该框架实现了78.42%的平均AUC，个别设计师最高达95%，在时尚趋势预测方面表现出强劲的预测性能。

ABSTRACT

Fashion is a large and fast-changing industry. Foreseeing the upcoming fashion trends is beneficial for fashion designers, consumers, and retailers. However, fashion trends are often perceived as unpredictable due to the enormous amount of factors involved into designers' subjectivity. In this paper, we propose a fashion trend prediction framework and design neural network models to leverage structured fashion runway show data, learn the fashion collection embedding, and further train RNN/LSTM models to capture the designers' style evolution. Our proposed framework consists of (1) a runway embedding learning model that uses fashion runway images to learn every season's collection embedding, and (2) a next-season fashion design prediction model that leverage the concept of designer style and trend to predict next-season design given designers. Through experiments on a collected dataset across 32 years of fashion shows, our framework can achieve the best performance of 78.42% AUC on average and 95% for an individual designer when predicting the next season's design.

研究动机与目标

• 开发一种定量、大规模的时尚趋势预测系统，基于历史时装秀数据预测下一季设计。
• 通过时尚系列嵌入的序列建模，对设计师风格随时间的演变进行建模。
• 通过联合学习时装秀嵌入与季节嵌入，捕捉设计师个体风格与行业整体趋势。
• 通过实现数据驱动、可扩展且精确的预测，超越定性趋势预测。

提出的方法

• 联合任务神经网络通过从时装秀图像集合中联合分类设计师与季节，学习时装秀嵌入。
• 时装秀嵌入模型采用类似Siamese的架构，并使用对比损失，从图像集合中学习判别性视觉表征。
• 从训练好的时装秀嵌入模型中提取每个时装秀系列的嵌入，并将其作为每个设计师个性化RNN/LSTM模型的输入。
• RNN/LSTM模型学习设计师系列中的时间模式，并通过余弦相似度评分预测未来设计的可能性。
• 使用贝叶斯个性化排序（BPR）损失优化下一季预测任务，使真实下一季设计的排名高于随机负样本。
• 该框架使用Adam优化器进行端到端训练，并基于验证损失收敛情况采用早停策略。

实验结果

研究问题

• RQ1 能否有效学习到时装秀系列的视觉表征，以同时捕捉设计师身份与季节趋势？
• RQ2 RNN/LSTM模型在多季节时间跨度内，能在多大程度上捕捉设计师风格的时序演变？
• RQ3 与随机基线相比，设计师特定风格与宏观趋势嵌入的联合模型在预测下一季设计方面表现如何？
• RQ4 在建模时尚设计演变方面，RNN与LSTM架构之间的性能差距有多大？

主要发现

• 所提出的框架在202位设计师中实现了78.42%的平均AUC，显著优于50%的随机基线。
• 对于个别设计师，表现最佳的模型达到95%的AUC，表明对顶级设计师具有强大的预测能力。
• LSTM模型优于RNN，平均AUC达到78.42%，而RNN为78.40%，且LSTM的最低性能更高（64.17% vs. 53.85%）。
• 时装秀嵌入模型成功区分设计师，准确率达2.5%（基线为0.4%），在季节分类上也优于基线，达到50.25%（基线为50%）。
• 该模型表明，当利用长期视觉序列并联合建模风格与趋势动态时，时尚趋势是可预测的。