[论文解读] Deep Learning and NLP in Cryptocurrency Forecasting: Integrating Financial, Blockchain, and Social Media Data

Vincent Gurgul, Stefan Lessmann+1 more|arXiv (Cornell University)|Nov 23, 2023

Stock Market Forecasting Methods被引用 7

一句话总结

本文提出了一种深度学习框架，整合了金融、区块链及社交媒体数据（尤其是来自Twitter和Reddit的数据），用于加密货币价格预测。通过将价格走势和局部极值视为分类任务，并利用预训练的NLP模型（如BART MNLI和Twitter-RoBERTa），研究发现NLP增强模型显著提升了预测准确率，并在长时间范围内持续实现盈利，其中零样本模型在情感检测方面甚至优于微调过的大型语言模型（LLMs）。

ABSTRACT

We introduce novel approaches to cryptocurrency price forecasting, leveraging Machine Learning (ML) and Natural Language Processing (NLP) techniques, with a focus on Bitcoin and Ethereum. By analysing news and social media content, primarily from Twitter and Reddit, we assess the impact of public sentiment on cryptocurrency markets. A distinctive feature of our methodology is the application of the BART MNLI zero-shot classification model to detect bullish and bearish trends, significantly advancing beyond traditional sentiment analysis. Additionally, we systematically compare a range of pre-trained and fine-tuned deep learning NLP models against conventional dictionary-based sentiment analysis methods. Another key contribution of our work is the adoption of local extrema alongside daily price movements as predictive targets, reducing trading frequency and portfolio volatility. Our findings demonstrate that integrating textual data into cryptocurrency price forecasting not only improves forecasting accuracy but also consistently enhances the profitability and Sharpe ratio across various validation scenarios, particularly when applying deep learning NLP techniques. The entire codebase of our experiments is made available via an online repository: https://anonymous.4open.science/r/crypto-forecasting-public

研究动机与目标

• 探究整合来自Twitter和Reddit的社交媒体与新闻情感是否能超越传统金融与链上数据，在加密货币价格预测中实现更优表现。
• 评估零样本与微调大型语言模型（LLMs）在捕捉BTC和ETH市场情绪细微差别的有效性。
• 比较在引入NLP特征与仅依赖价格与链上数据的情况下，各类机器学习模型（尤其是深度学习架构）的预测性能。
• 评估预测局部极值（局部最低/最高点）是否比预测日度价格走势带来更好的性能与更高盈利。
• 考察市场有效性长期稳定性及NLP数据随时间推移的持续影响，尤其是在文本数据日益普遍的背景下。

提出的方法

• 本研究采用多模态方法，结合时间序列数据（BTC与ETH价格、链上指标、GitHub活动、Google趋势）与来自Twitter和Reddit的文本数据。
• 使用预训练NLP模型提取文本情感，包括Twitter-RoBERTa和BART MNLI，后者在零样本分类设置下用于检测看涨与看跌情绪。
• 将预测任务定义为二分类问题：预测日度价格方向（上涨/下跌）以及在不同时间窗口内识别局部极值（例如21天极值）。
• 评估了一系列机器学习模型，包括长短期记忆网络（LSTM）、门控循环单元（GRU）、时间融合Transformer（TFT）以及前馈神经网络，对比其在有无NLP特征情况下的表现。
• 通过标准指标（如AUC-ROC、均方误差（MSE）和二元交叉熵（BCE））评估模型性能，并结合回测交易模拟评估盈利能力。
• 应用格兰杰因果检验以确定NLP特征预测能力的时间滞后，结果表明提前一周以内的情绪信号具有统计显著性。

实验结果

研究问题

• RQ1 与仅使用金融与链上数据的模型相比，整合来自社交媒体与新闻的NLP提取情感是否能提升加密货币价格预测的准确性？
• RQ2 在金融预测任务中，预训练的零样本模型（如BART MNLI）与微调过的LLMs相比，在捕捉市场情绪方面表现如何？
• RQ3 预测局部极值（如21天高点/低点）是否比预测日度价格走势带来更优的预测性能与更高盈利？
• RQ4 NLP数据的预测影响是否随时间保持稳定，还是随着市场效率提升而减弱？
• RQ5 在回测交易环境中，为最大化盈利，最优目标变量（日度变动 vs. 局部极值）是什么？

主要发现

• 引入NLP数据显著提升了所有评估指标下的预测性能，且在长时间范围内持续提升AUC-ROC与盈利能力。
• BART MNLI零样本分类器在检测看涨与看跌情绪方面优于许多微调过的LLMs，展现出无需任务特定微调即可在金融文本上实现强大泛化能力。
• 文本特征滞后达一周时具有格兰杰因果性，表明情绪具有可测量的领先时间，尤其在21天极值预测中表现显著。
• 以局部极值为目标训练的模型实现了高分类准确率，并以显著更少的交易次数实现可观盈利，适用于高交易成本环境。
• 所有模型在所有交叉验证分割中均持续实现盈利，且性能与NLP影响未随时间下降，表明可通过文本数据持续利用市场非有效性的机会。
• 非线性模型（如LSTM、TFT）优于线性模型（如OLS），但即使线性模型也表现良好，表明尽管存在非线性关系，线性关系在金融时间序列中仍占主导地位。