[论文解读] Few-shot Learning for Time-series Forecasting

Tomoharu Iwata, Atsutoshi Kumagai|arXiv (Cornell University)|Sep 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 12

一句话总结

本文提出了一种用于时间序列预测的 few-shot 学习方法，该方法利用带有注意力机制的循环神经网络，仅使用少量支持时间序列样本即可适应新的目标任务。该模型在多样化源任务上进行训练，在无需微调的情况下即可在 90 个数据集上实现最先进性能，优于 LSTM-MAML 和 LSTM-DI 等方法，通过有效检索少量支持集中的相关模式实现优异表现。

ABSTRACT

Time-series forecasting is important for many applications. Forecasting models are usually trained using time-series data in a specific target task. However, sufficient data in the target task might be unavailable, which leads to performance degradation. In this paper, we propose a few-shot learning method that forecasts a future value of a time-series in a target task given a few time-series in the target task. Our model is trained using time-series data in multiple training tasks that are different from target tasks. Our model uses a few time-series to build a forecasting function based on a recurrent neural network with an attention mechanism. With the attention mechanism, we can retrieve useful patterns in a small number of time-series for the current situation. Our model is trained by minimizing an expected test error of forecasting next timestep values. We demonstrate the effectiveness of the proposed method using 90 time-series datasets.

研究动机与目标

• 解决在缺乏足够目标任务数据时预测性能差的问题。
• 实现在无需为每个新任务重新训练模型的前提下，实现时间序列预测的 few-shot 自适应。
• 开发一种元学习框架，仅使用极少的支持数据即可在多样化的时间序列动态中实现泛化。
• 通过注意力机制利用多个源任务之间的共享模式，提升预测准确性。
• 在广泛的真实世界时间序列数据集上展示模型的鲁棒性与高效性。

提出的方法

• 模型使用双向 LSTM 对目标任务中的少量支持时间序列进行编码，以提取其表示。
• 查询时间序列通过独立的 LSTM 进行处理，以捕捉其自身的时序动态。
• 注意力机制在支持表示上计算上下文感知权重，以动态关注与预测相关的模式。
• 最终预测通过组合查询的隐藏状态与加权支持表示生成。
• 通过最小化在多个源任务上未来一步预测的期望测试误差，实现端到端训练。
• 通过注意力机制支持可变长度时间序列和灵活的支持集大小。

实验结果

研究问题

• RQ1 元学习模型是否能仅使用该任务中的少量样本，对未来时间序列值进行预测？
• RQ2 与标准微调或基于元特征的方法相比，注意力机制在 few-shot 时间序列预测中带来了哪些改进？
• RQ3 该模型是否能在不重新训练的情况下，泛化到多样化的时间序列动态（如趋势、周期性）？
• RQ4 性能如何随训练任务数量和支持集大小的变化而变化？
• RQ5 该模型是否能在真实世界数据集上超越现有的 few-shot 和 zero-shot 预测基线方法？

主要发现

• 在 90 个数据集中的 62 个上，该方法的性能与最佳基线无统计学差异，是所有对比方法中表现最佳的。
• 在全部 90 个数据集上，该模型均优于 LSTM-MAML 和 LSTM-DI，其平均均方根误差（RMSE）为 0.285，而 LSTM-MAML 和 LSTM-DI 分别为 0.312 和 0.387。
• 即使支持集大小不同，该方法仍保持较低误差，并且随着支持集大小增加，性能持续提升，在所有设置下均优于 LSTM-MAML。
• 该模型在多样化的时间序列类型（包括金融、能源、交通和传感器数据）中表现出鲁棒性，且性能提升一致。
• 训练和推理时间高效，该方法训练耗时 40,203 秒，每个测试任务仅需 15 秒，两项指标均优于 LSTM-MAML。
• 可视化结果证实，该模型仅使用少量支持样本即可准确捕捉目标时间序列中的多样化动态（如趋势、周期性）。