[论文解读] Long-term series forecasting with Query Selector -- efficient model of sparse attention

Jacek Klimek, Jakub Klímek+2 more|arXiv (Cornell University)|Jul 19, 2021

Time Series Analysis and Forecasting参考文献 27被引用 4

一句话总结

本文提出 QuerySelector，一种用于高效长期时间序列预测的确定性稀疏注意力机制。通过可学习的选择器选取关键历史步骤，该方法在保持高精度的同时降低了计算复杂度，在 Helpdesk 和 BPI Challenge 2012 数据集上的准确率分别达到 74.3% 和 79.0%，优于基于 LSTM 的模型。

ABSTRACT

Various modifications of TRANSFORMER were recently used to solve time-series forecasting problem. We propose Query Selector - an efficient, deterministic algorithm for sparse attention matrix. Experiments show it achieves state-of-the art results on ETT, Helpdesk and BPI'12 datasets.

研究动机与目标

• 解决标准自注意力机制在长序列时间序列预测中的计算低效问题。
• 开发一种确定性的稀疏注意力机制，以减少 FLOPs，且不依赖随机采样。
• 通过聚焦于结构上有意义的历史步骤，提升长期序列的预测精度。
• 在真实世界业务流程事件日志数据集上，超越现有的深度学习模型，特别是 LSTM 模型。
• 实现可扩展的、高效的基于注意力的建模，适用于工业规模的时间序列预测。

提出的方法

• 引入一种可学习的查询选择器，用于识别并仅关注序列中最具相关性的历史时间步。
• 用稀疏注意力矩阵替代完整的自注意力机制，其中每个查询仅使用选定的关键步骤作为记忆。
• 使用可微分的选择器网络，根据输入上下文动态选择应关注的过去标记。
• 在仅关注固定数量选定步骤的前提下，大幅降低 FLOPs，同时保持完整的序列建模能力。
• 使用标准的序列到序列目标和交叉熵损失进行端到端训练，用于事件类型预测。
• 将该方法应用于事件日志预测任务，目标是预测业务流程轨迹中的下一个活动类型。

实验结果

研究问题

• RQ1 一种确定性、可学习的稀疏注意力机制是否能在长期时间序列预测中超越标准全注意力机制和循环模型？
• RQ2 QuerySelector 机制在保持长期序列预测精度的同时，如何提升计算效率？
• RQ3 基于历史步骤结构选择的稀疏注意力在真实世界业务流程日志上的预测性能能提升到何种程度？
• RQ4 与基于 LSTM 的模型相比，QuerySelector 是否在事件日志预测基准上达到最先进性能？
• RQ5 该方法在不同类型的时间序列中，特别是在低频、稀疏和结构化事件日志中，表现如何？

主要发现

• QuerySelector 在 Helpdesk 数据集上达到 74.3% 的准确率，超过 [Tax et al., 2017] 报告的最佳 LSTM 结果。
• 在 BPI Challenge 2012 数据集上，QuerySelector 达到 79.0% 的准确率，优于最佳 LSTM 性能 76.00%。
• 该方法通过仅关注一小部分可学习的历史步骤子集，显著降低了计算成本。
• 确定性选择机制避免了随机稀疏注意力方法常见的方差和不稳定性问题。
• 该模型在不同类型业务流程日志上具有良好的泛化能力，包括具有复杂非周期性模式的日志。
• 实证结果证实，聚焦于结构上有意义的历史步骤可显著提升长期预测性能。