[论文解读] Financial series prediction using Attention LSTM

Sang-Yeon Kim, Myungjoo Kang|arXiv (Cornell University)|Feb 28, 2019

Stock Market Forecasting Methods参考文献 22被引用 16

一句话总结

本文提出了一种增强注意力机制的LSTM模型，用于利用多源金融时间序列数据预测KOSPI 200指数的趋势。通过将加权注意力机制与LSTM网络结合，该模型提升了预测准确率——达到0.763的命中率，同时实现了注意力权重的可解释性可视化，以识别关键影响因素和时间段。

ABSTRACT

Financial time series prediction, especially with machine learning techniques, is an extensive field of study. In recent times, deep learning methods (especially time series analysis) have performed outstandingly for various industrial problems, with better prediction than machine learning methods. Moreover, many researchers have used deep learning methods to predict financial time series with various models in recent years. In this paper, we will compare various deep learning models, such as multilayer perceptron (MLP), one-dimensional convolutional neural networks (1D CNN), stacked long short-term memory (stacked LSTM), attention networks, and weighted attention networks for financial time series prediction. In particular, attention LSTM is not only used for prediction, but also for visualizing intermediate outputs to analyze the reason of prediction; therefore, we will show an example for understanding the model prediction intuitively with attention vectors. In addition, we focus on time and factors, which lead to an easy understanding of why certain trends are predicted when accessing a given time series table. We also modify the loss functions of the attention models with weighted categorical cross entropy; our proposed model produces a 0.76 hit ratio, which is superior to those of other methods for predicting the trends of the KOSPI 200.

研究动机与目标

• 通过深度学习模型提升KOSPI 200指数金融时间序列预测的准确性。
• 评估并比较多种深度学习架构（包括MLP、1D CNN、LSTM和注意力网络）的性能。
• 通过可视化输入因子和时间序列的注意力向量，增强模型的可解释性。
• 使用加权分类交叉熵损失函数优化损失函数，以提升在不平衡趋势预测任务中的性能。
• 通过注意力权重分析，识别对模型预测最具影响力的时期和金融因素。

提出的方法

• 在2007–2016年共10年的KOSPI 200及其相关金融指标（包括货币、全球指数和大宗商品）数据集上训练堆叠LSTM模型。
• 将注意力机制集成到LSTM架构中，以动态加权不同时间步长和输入特征的重要性。
• 实现加权分类交叉熵损失函数，以优先考虑对高波动价格变动的正确预测，提升模型鲁棒性。
• 对时间（时间）和特征（因子）维度的注意力向量进行可视化，以解释模型决策并识别关键输入。
• 使用60天的回溯窗口作为输入序列，并在不同未来预测时 horizon（例如40天后预测）上进行评估。
• 每种模型独立进行五次训练以确保结果稳定性，并报告平均性能指标，包括命中率和得分。

实验结果

研究问题

• RQ1 在预测KOSPI 200趋势方向方面，不同深度学习模型（MLP、1D CNN、LSTM和注意力网络）的表现如何比较？
• RQ2 与标准注意力机制相比，使用加权注意力机制对预测准确率和模型稳定性有何影响？
• RQ3 模型中哪些金融因素和时间段获得了最高的注意力权重，它们与预测结果的相关性如何？
• RQ4 回溯窗口长度如何影响不同模型的预测性能？
• RQ5 注意力可视化在多大程度上能为模型在金融趋势预测中的决策过程提供直观、可解释的洞察？

主要发现

• 加权注意力LSTM模型在测试集上实现了0.763的最高命中率，显著优于其他模型，包括标准注意力网络（0.715）和基线模型。
• 在正向趋势预测中，加权注意力模型的准确率达到70.9%；在负向趋势预测中，准确率达到72.3%，表明其在两个方向上均表现强劲。
• 在模拟交易中，该模型获得1,257.462分，较标准注意力网络（1,090.718分）高出15%，表明在风险调整后的模拟中具有更高的盈利能力。
• 注意力可视化显示，标普500全球指数和美元指数是权重最高的因素，而输入窗口的最后一天以及若干中间日期的时间注意力权重最高。
• 较长的回溯窗口（60天）在所有模型中均持续提升命中率，最优性能在40天预测时 horizon 处观察到。
• 该模型的注意力机制有效突出了关键输入，实现了对为何做出特定趋势预测的直观解释，尤其在市场波动较高的时期表现突出。