[論文レビュー] Deep Learning and NLP in Cryptocurrency Forecasting: Integrating Financial, Blockchain, and Social Media Data

Vincent Gurgul, Stefan Lessmann+1 more|arXiv (Cornell University)|Nov 23, 2023

Stock Market Forecasting Methods被引用数 7

ひとこと要約

本論文は、暗号資産の価格予測に、財務データ、ブロックチェーンデータ、およびソーシャルメディアデータ（特にTwitterとReddit）を統合するディープラーニングフレームワークを提案する。価格動向と局所的極値を分類タスクとして扱い、BART MNLI や Twitter-RoBERTa といった事前学習済みNLPモデルを活用することで、NLPを強化したモデルが予測精度を著しく向上させ、時間経過にかかわらず一貫した利益を生み出すことを実証した。特に、ゼロショットモデルはファインチューニング済みLLMでさえも上回る感情分析の性能を示した。

ABSTRACT

We introduce novel approaches to cryptocurrency price forecasting, leveraging Machine Learning (ML) and Natural Language Processing (NLP) techniques, with a focus on Bitcoin and Ethereum. By analysing news and social media content, primarily from Twitter and Reddit, we assess the impact of public sentiment on cryptocurrency markets. A distinctive feature of our methodology is the application of the BART MNLI zero-shot classification model to detect bullish and bearish trends, significantly advancing beyond traditional sentiment analysis. Additionally, we systematically compare a range of pre-trained and fine-tuned deep learning NLP models against conventional dictionary-based sentiment analysis methods. Another key contribution of our work is the adoption of local extrema alongside daily price movements as predictive targets, reducing trading frequency and portfolio volatility. Our findings demonstrate that integrating textual data into cryptocurrency price forecasting not only improves forecasting accuracy but also consistently enhances the profitability and Sharpe ratio across various validation scenarios, particularly when applying deep learning NLP techniques. The entire codebase of our experiments is made available via an online repository: https://anonymous.4open.science/r/crypto-forecasting-public

研究の動機と目的

• TwitterやRedditからのソーシャルメディアおよびニュースの感情を統合することで、従来の財務データおよびオンチェーンデータを超えて暗号資産の価格予測が改善されるかを調査すること。
• ゼロショットおよびファインチューニング済みの大規模言語モデル（LLM）が、BTCおよびETHのための洗練された市場感情をいかに捉えられるかを評価すること。
• NLP特徴量を組み込んだ場合と、価格およびオンチェーンデータにのみ依存する場合とを比較して、さまざまな機械学習モデル（特にディープラーニングアーキテクチャ）の予測性能を評価すること。
• 日次価格動向の予測よりも、局所的極値（局所的最小値／最大値）の予測が、より高い性能と収益性をもたらすかを評価すること。
• 市場効率性の長期的安定性と、テキストデータの増加に伴い、NLPデータの影響が時間経過にわたって持続的に効果を発揮するかを検討すること。

提案手法

• 本研究では、BTCおよびETHの価格、オンチェーン指標、GitHubの活動、Googleトレンドなどの時系列データと、TwitterおよびRedditからのテキストデータを統合するマルチモーダルアプローチを採用する。
• テキスト感情分析には、Twitter-RoBERTa や BART MNLI といった事前学習済みNLPモデルを用い、後者をゼロショット分類設定で用いてボリッシュおよびベアッシュの感情を検出する。
• 予測は二値分類タスクとして定式化される：日次価格の方向（上昇／下落）を予測し、時間窓（例：21日間）を考慮した局所的極値を特定する。
• LSTM、GRU、Temporal Fusion Transformers（TFT）、およびフィードフォワードネットワークを含む多様な機械学習モデルを評価し、NLP特徴量を含む／含まない両方の設定で検証する。
• モデルの性能は、AUC-ROC、平均二乗誤差（MSE）、バイナリクロスエントロピー（BCE）といった標準指標に加え、バックテストによるトレーディングシミュレーションを用いて収益性を評価する。
• NLP特徴量の予測力の時間的ラグを特定するため、Granger因果性テストを適用した。その結果、最大1週間前までの感情シグナルが統計的に有意であることが判明した。

実験結果

リサーチクエスチョン

• RQ1 TwitterやRedditからのNLPで抽出された感情を統合することで、財務およびオンチェーンデータにのみ依存するモデルと比較して、暗号資産の価格予測精度が向上するか？
• RQ2 BART MNLI といった事前学習済みゼロショットモデルは、ファインチューニング済みLLMと比較して、金融予測タスクにおける市場感情をいかに正確に捉えられるか？
• RQ3 21日間の高値／安値といった局所的極値の予測は、日次価格動向の予測よりも優れた予測性能と高い収益性をもたらすか？
• RQ4 NLPデータの予測的影響は時間経過にわたって安定しているか、それとも市場効率性の変化に伴い効果が薄れるか？
• RQ5 バックテストトレーディング環境で収益性を最大化するには、最適なターゲット変数は日次動向か極値か？

主な発見

• NLPデータの統合により、すべての評価指標で予測性能が著しく向上し、AUC-ROCと収益性の両方が時間経過にわたって一貫した向上を示した。
• BART MNLI のゼロショット分類器は、タスク固有のファインチューニングなしで、多くのファインチューニング済みLLMを上回るボリッシュおよびベアッシュ感情の検出性能を示し、金融テキストへの汎化能力が優れていることを実証した。
• 最大1週間のラグをとったテキスト特徴量はGranger因果的であることが判明し、感情が予測的パワーを持ち、特に21日間の極値予測においては明確なリードタイムを持つことが示された。
• 局所的極値をターゲットにしたモデルは高い分類精度を達成し、取引回数を著しく減らしながらも、ある程度の利益を生み出すことができ、取引コストの高い環境に適していることが分かった。
• すべてのモデルが、クロスバリデーションの各スプリットにおいて一貫して利益を生み出し、性能やNLPの影響に時間経過による低下が見られなかった。これは、テキストデータを用いた市場非効率性の継続的かつ利用可能な性質を示唆している。
• 非線形モデル（例：LSTM、TFT）は線形モデル（例：OLS）を上回る性能を示したが、線形モデルでも顕著な結果を示しており、非線形性が存在する一方で、金融時系列において線形関係が依然として支配的であることを示唆している。