[论文解读] From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting in Alibaba

Xinyuan Qi, Kai Hou+4 more|arXiv (Cornell University)|Sep 17, 2021

Time Series Analysis and Forecasting参考文献 23被引用 7

一句话总结

本文提出 Aliformer，一种知识引导的 Transformer 模型，通过在预测过程中整合已知的未来信息（如即将开展的促销活动）来提升电子商务中的时间序列销售预测性能。通过采用知识引导分支的双向注意力机制以及未来信息强化的训练策略，Aliformer 在公开数据集和工业数据集上均优于当前最先进方法，在促销活动期间的销售预测中实现了显著的准确率提升。

ABSTRACT

Time series forecasting (TSF) is fundamentally required in many real-world applications, such as electricity consumption planning and sales forecasting. In e-commerce, accurate time-series sales forecasting (TSSF) can significantly increase economic benefits. TSSF in e-commerce aims to predict future sales of millions of products. The trend and seasonality of products vary a lot, and the promotion activity heavily influences sales. Besides the above difficulties, we can know some future knowledge in advance except for the historical statistics. Such future knowledge may reflect the influence of the future promotion activity on current sales and help achieve better accuracy. However, most existing TSF methods only predict the future based on historical information. In this work, we make up for the omissions of future knowledge. Except for introducing future knowledge for prediction, we propose Aliformer based on the bidirectional Transformer, which can utilize the historical information, current factor, and future knowledge to predict future sales. Specifically, we design a knowledge-guided self-attention layer that uses known knowledge's consistency to guide the transmission of timing information. And the future-emphasized training strategy is proposed to make the model focus more on the utilization of future knowledge. Extensive experiments on four public benchmark datasets and one proposed large-scale industrial dataset from Tmall demonstrate that Aliformer can perform much better than state-of-the-art TSF methods. Aliformer has been deployed for goods selection on Tmall Industry Tablework, and the dataset will be released upon approval.

研究动机与目标

• 解决现有时间序列预测模型忽略已知未来信息（如计划内的促销活动）的局限性，这些信息对销售模式有重大影响。
• 开发一种能够利用历史数据和未来知识以提升电子商务销售预测准确率的预测模型。
• 设计一种自注意力机制，利用已知未来知识的一致性来引导时间信息流动，从而减少被掩码的未来标记带来的噪声影响。
• 在 Tmall 的大规模工业数据集和公开基准数据集上验证模型的有效性，证明其在真实场景部署中的潜力。

提出的方法

• 提出 Aliformer，一种基于双向 Transformer 的模型，将已知未来知识整合到编码器输入中，打破了传统模型对严格因果性的依赖。
• 设计一种知识引导的自注意力层，利用已知未来信息引导注意力计算，最大限度减少被掩码未来标记带来的噪声影响。
• 采用可学习的掩码标记嵌入来表示未知的未来值，该嵌入与知识嵌入联合优化，以保持序列完整性。
• 应用未来信息强化的训练策略，在优化过程中增强模型对利用未来知识的关注，提升对依赖未来模式的泛化能力。
• 采用多模态输入表示，结合稀疏特征（产品和平台特征）与密集特征（统计指标和性能指标），以丰富输入上下文。
• 实现双分支注意力机制：一个标准自注意力分支和一个知识引导分支，后者利用已知未来的一致性对注意力图进行优化。

实验结果

研究问题

• RQ1 将已知的未来信息（如计划内的促销活动）整合到时间序列销售预测中，能否提升电子商务场景下的预测准确率？
• RQ2 Transformer 模型如何在不违背序列建模基本原理的前提下，有效利用未来知识？
• RQ3 为实现利用已知未来知识引导注意力机制，同时最小化被掩码未来标记带来的噪声，需要哪些架构上的修改？
• RQ4 未来信息强化的训练策略是否能增强模型在长期预测中利用未来知识的能力？
• RQ5 Aliformer 在应对促销活动期间突发的销售高峰方面，相较于最先进模型表现如何？

主要发现

• Aliformer 在四个公开基准数据集和 Tmall 的大规模工业数据集上均达到最先进性能，显著优于现有方法，预测准确率大幅提升。
• 在 Tmall 销售（TMS）数据集上，Aliformer 相较于最佳基线模型，将平均绝对百分比误差（sMAPE）降低了最多 15%，展现出在真实世界销售模式上的卓越泛化能力。
• 该模型能有效捕捉促销活动期间的突发销售高峰，如价格下调或直播带货活动，而传统模型由于仅依赖历史数据，往往无法预测此类波动。
• 知识引导的自注意力机制显著降低了被掩码未来标记带来的注意力图噪声，提升了模型的鲁棒性与预测保真度。
• 未来信息强化的训练策略显著提升了模型对知识的利用效率，尤其在长程预测中表现更优，此时自回归模型常因误差累积而性能下降。
• Aliformer 已成功部署于 Tmall 的产业表格工作流中用于商品选品，证实了其工业适用性与可扩展性。