[论文解读] Knowledge Enhanced Neural Fashion Trend Forecasting

Yunshan Ma, Yujuan Ding+4 more|arXiv (Cornell University)|May 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 4

一句话总结

本文提出 KERN，一种基于 Instagram 时间序列数据的、知识增强的循环神经网络，用于细粒度时尚趋势预测。通过将内部相似性关系与基于分类法的外部关联性整合到深度学习框架中，KERN 在预测不同用户群体的复杂时尚趋势方面优于基线模型，在新构建的大规模数据集（FIT）上实现了半 年 和 一 年 预测的更高精度。

ABSTRACT

Fashion trend forecasting is a crucial task for both academia and industry. Although some efforts have been devoted to tackling this challenging task, they only studied limited fashion elements with highly seasonal or simple patterns, which could hardly reveal the real fashion trends. Towards insightful fashion trend forecasting, this work focuses on investigating fine-grained fashion element trends for specific user groups. We first contribute a large-scale fashion trend dataset (FIT) collected from Instagram with extracted time series fashion element records and user information. Further-more, to effectively model the time series data of fashion elements with rather complex patterns, we propose a Knowledge EnhancedRecurrent Network model (KERN) which takes advantage of the capability of deep recurrent neural networks in modeling time-series data. Moreover, it leverages internal and external knowledge in fashion domain that affects the time-series patterns of fashion element trends. Such incorporation of domain knowledge further enhances the deep learning model in capturing the patterns of specific fashion elements and predicting the future trends. Extensive experiments demonstrate that the proposed KERN model can effectively capture the complicated patterns of objective fashion elements, therefore making preferable fashion trend forecast.

研究动机与目标

• 解决利用数据驱动方法预测特定用户群体细粒度时尚趋势的挑战。
• 克服现有数据集在缺乏细粒度时尚元素、长时间跨度和用户级信息方面的局限性。
• 开发一种深度学习模型，能够捕捉超越简单季节性或线性趋势的复杂时间模式。
• 通过整合内部（相似性）和外部（基于分类法的隶属关系）领域知识，提升预测性能。
• 通过预测不同用户群体的多样化时尚属性，生成可操作的时尚趋势报告。

提出的方法

• 从 Instagram 构建大规模时尚趋势数据集（FIT），记录时间序列时尚元素数据及用户人口统计信息（年龄、性别、地理位置）。
• 设计一种知识增强的循环网络（KERN），结合双向 GRU 进行序列建模与注意力机制。
• 通过三元组正则化损失整合内部知识，以保持相关时尚元素之间的语义相似性。
• 利用分层时尚分类法树上的消息传递机制，将外部知识融入元素嵌入表示。
• 使用结合重构损失、三元组损失和知识感知正则化项的多任务损失，端到端训练模型。
• 利用用户特定嵌入实现趋势预测个性化，支持针对不同人口统计群体的群体级预测。

实验结果

研究问题

• RQ1 基于社交媒体数据的数据驱动模型能否有效预测多样用户群体的复杂、细粒度时尚趋势？
• RQ2 整合内部知识（如时尚元素之间的相似性）在多大程度上提升趋势预测性能？
• RQ3 外部知识（如时尚类别的分层分类法）在多大程度上增强模型的泛化能力与趋势预测能力？
• RQ4 用户级信息的引入在多大程度上影响时尚趋势预测的准确性和个性化水平？
• RQ5 所提出的模型能否生成全面、可解释的时尚趋势报告，以反映多维度的时尚演变？

主要发现

• 在 FIT 数据集上，KERN 模型在半年和一年期时尚趋势预测中均优于基线模型，表现更优。
• 无论移除内部知识或外部知识，模型性能均显著下降，其中长期预测的性能下降最为明显。
• 消融实验中的 KERN-IE 模型（无任何知识）表现最差，证实知识融合对处理复杂时尚模式至关重要。
• 基于用户特定的趋势预测比全局预测更准确，证明了引入人口统计信息的价值。
• 可视化结果表明，KERN 有效捕捉了颜色、图案和风格等时尚元素的非线性和复杂趋势模式。
• 从 KERN 预测生成的综合性时尚趋势报告（例如针对巴黎女性）成功捕捉了从类别到牛仔裤水洗色等详细属性的多维趋势。