[论文解读] Enhancing Price Prediction in Cryptocurrency Using Transformer Neural Network and Technical Indicators

Mohammad Ali Labbaf Khaniki, Mohammad Manthouri|arXiv (Cornell University)|Mar 6, 2024

Blockchain Technology Applications and Security被引用 4

一句话总结

本文提出了一种混合深度学习模型，结合基于 Performer 的 Transformer、BiLSTM 和技术指标，以提升比特币、以太坊和莱特币的价格预测性能。通过利用 FAVOR+ 注意力机制实现计算效率，并结合双向序列建模，该方法在每小时和每日时间框架下的表现优于现有方法。

ABSTRACT

This study presents an innovative approach for predicting cryptocurrency time series, specifically focusing on Bitcoin, Ethereum, and Litecoin. The methodology integrates the use of technical indicators, a Performer neural network, and BiLSTM (Bidirectional Long Short-Term Memory) to capture temporal dynamics and extract significant features from raw cryptocurrency data. The application of technical indicators, such facilitates the extraction of intricate patterns, momentum, volatility, and trends. The Performer neural network, employing Fast Attention Via positive Orthogonal Random features (FAVOR+), has demonstrated superior computational efficiency and scalability compared to the traditional Multi-head attention mechanism in Transformer models. Additionally, the integration of BiLSTM in the feedforward network enhances the model's capacity to capture temporal dynamics in the data, processing it in both forward and backward directions. This is particularly advantageous for time series data where past and future data points can influence the current state. The proposed method has been applied to the hourly and daily timeframes of the major cryptocurrencies and its performance has been benchmarked against other methods documented in the literature. The results underscore the potential of the proposed method to outperform existing models, marking a significant progression in the field of cryptocurrency price prediction.

研究动机与目标

• 通过先进的深度学习架构提升加密货币价格预测的准确性。
• 通过采用 FAVOR+ 注意力机制，解决标准 Transformer 注意力机制在计算可扩展性方面的局限性。
• 整合技术指标，从原始价格数据中提取动量、波动率和趋势模式。
• 通过结合双向 LSTM 与基于注意力的建模，增强时间特征学习，提升序列表征能力。
• 在多个时间框架下，将所提出的模型与现有最先进方法在主要加密货币上的表现进行基准对比。

提出的方法

• 模型使用技术指标（如 RSI、MACD、布林带）作为输入特征，以编码市场状态特征。
• 采用带有 FAVOR+ 注意力机制的 Performer 神经网络，替代标准多头注意力机制，以降低计算复杂度，同时保持长距离依赖建模能力。
• Performer 编码器后接一个 BiLSTM 层，以捕捉价格序列中的双向时间依赖关系。
• 将技术指标与原始价格数据的融合输入通过混合架构，生成多步价格预测结果。
• 模型在比特币、以太坊和莱特币的每小时和每日价格数据上进行端到端训练，使用标准回归损失函数。
• 通过标准指标（如 RMSE、MAE 和 R²）在测试集上评估性能，并与文献中的基线模型进行比较。

实验结果

研究问题

• RQ1 基于 Performer 的 Transformer 搭配 FAVOR+ 注意力机制是否能在加密货币价格预测任务中优于标准 Transformer？
• RQ2 技术指标的整合在多大程度上提升了深度学习模型在加密货币时间序列上的预测性能？
• RQ3 与单向或仅使用自注意力机制的架构相比，BiLSTM 的引入在多大程度上增强了时间特征学习能力？
• RQ4 所提出的混合模型是否能在不同加密货币和时间框架（每小时 vs. 每日）上实现良好的泛化能力？
• RQ5 在预测准确性和计算效率方面，该模型与现有最先进方法相比，其量化表现如何？

主要发现

• 所提出的模型在比特币、以太坊和莱特币的每小时和每日价格预测任务中，RMSE 和 MAE 值均低于基线模型。
• 使用 FAVOR+ 注意力机制显著提升了推理速度并降低了内存消耗，相较于标准多头注意力机制，提升了长序列处理的可扩展性。
• 整合技术指标显著提升了模型性能，尤其在捕捉趋势反转和波动率状态方面表现突出。
• BiLSTM 组件通过同时从前向和后向处理序列，有效提升了对长期依赖关系的学习能力。
• 通过在公开数据集上的基准对比验证，该模型在预测准确性方面优于现有最先进方法。
• 消融实验确认，技术指标、Performer 和 BiLSTM 的组合实现了最高的预测性能，证明了各组件之间的协同增效作用。