[논문 리뷰] Deep Learning and NLP in Cryptocurrency Forecasting: Integrating Financial, Blockchain, and Social Media Data

Vincent Gurgul, Stefan Lessmann외 1명|arXiv (Cornell University)|2023. 11. 23.

Stock Market Forecasting Methods인용 수 7

한 줄 요약

이 논문은 암호화폐 가격 예측을 위해 금융, 블록체인, 소셜 미디어 데이터(특히 트위터와 레딧)를 통합한 딥러닝 프레임워크를 제안한다. 가격 움직임과 국소 극값을 분류 과제로 간주하고, BART MNLI 및 트위터-RoBERTa와 같은 사전 훈련된 NLP 모델을 활용함으로써, NLP 강화 모델이 정확도를 크게 향상시키고 시간이 지남에 따라 일관되게 수익을 내는 것으로 입증되었다. 특히, 제로샷 모델은 피지컬 테이닝된 LLM보다도 감성 탐지에서 뛰어난 성능을 보였다.

ABSTRACT

We introduce novel approaches to cryptocurrency price forecasting, leveraging Machine Learning (ML) and Natural Language Processing (NLP) techniques, with a focus on Bitcoin and Ethereum. By analysing news and social media content, primarily from Twitter and Reddit, we assess the impact of public sentiment on cryptocurrency markets. A distinctive feature of our methodology is the application of the BART MNLI zero-shot classification model to detect bullish and bearish trends, significantly advancing beyond traditional sentiment analysis. Additionally, we systematically compare a range of pre-trained and fine-tuned deep learning NLP models against conventional dictionary-based sentiment analysis methods. Another key contribution of our work is the adoption of local extrema alongside daily price movements as predictive targets, reducing trading frequency and portfolio volatility. Our findings demonstrate that integrating textual data into cryptocurrency price forecasting not only improves forecasting accuracy but also consistently enhances the profitability and Sharpe ratio across various validation scenarios, particularly when applying deep learning NLP techniques. The entire codebase of our experiments is made available via an online repository: https://anonymous.4open.science/r/crypto-forecasting-public

연구 동기 및 목표

• 트위터와 레딧의 소셜 미디어 및 뉴스 감성 정보를 통합함으로써, 기존의 금융 및 블록체인 데이터를 초월해 암호화폐 가격 예측 성능을 향상시킬 수 있는지 조사한다.
• BTC 및 ETH에 대한 시장 감성의 미묘한 특성을 포착하는 데 있어 제로샷 및 피지컬 테이닝된 대규모 언어 모델(LLM)의 효과성을 평가한다.
• NLP 기능을 포함했을 때와 가격 및 블록체인 데이터에만 의존했을 때의 다양한 기계학습 모델(특히 딥러닝 아키텍처)의 예측 성능를 비교한다.
• 일일 가격 변동 예측보다 국소 극값(국소 최소/최대값) 예측이 더 높은 성능과 수익성을 제공하는지 평가한다.
• 시장 효율성의 장기적 안정성과 NLP 데이터의 지속적인 영향력을 평가하며, 특히 텍스트 데이터가 점점 더 널리 보급됨에 따라 그 효과를 분석한다.

제안 방법

• 연구는 BTC 및 ETH 가격, 블록체인 메트릭스, 깃허브 활동, 구글 트렌드 등의 시계열 데이터와 트위터 및 레딧의 텍스트 데이터를 결합한 다중 모odal 접근법을 사용한다.
• 텍스트 감성은 트위터-RoBERTa 및 BART MNLI와 같은 사전 훈련된 NLP 모델을 사용하여 추출되며, 후자는 제로샷 분류 설정에서 상승장 및 하락장 감성을 탐지하는 데 사용된다.
• 예측은 이진 분류 과제로 설정되며, 일일 가격 방향(상승/하락) 예측과 다양한 시간 창(예: 21일간의 극값)에서 국소 극값을 식별하는 것을 목표로 한다.
• LSTM, GRU, Temporal Fusion Transformers(TFT), 피드포워드 네트워크 등 다양한 기계학습 모델이 NLP 기능 유무에 따라 평가된다.
• 모델 성능 평가에는 AUC-ROC, 평균제곱오차(MSE), 이진 교차엔트로피(BCE)와 같은 표준 지표와 함께 백테스트 트레이딩 시뮬레이션을 통해 수익성도 평가된다.
• NLP 기능의 예측력이 시간적으로 얼마나 앞서는지 확인하기 위해 그랑저 인과성 검정을 적용하였으며, 감성 신호가 최대 1주일 전까지 통계적으로 유의미한 예측 능력을 가짐을 밝혀냈다.

실험 결과

연구 질문

• RQ1 소셜 미디어 및 뉴스에서 추출한 NLP 감성 정보를 통합함으로써, 금융 및 블록체인 데이터에만 의존하는 모델보다 암호화폐 가격 예측 정확도가 향상되는가?
• RQ2 BART MNLI와 같은 사전 훈련된 제로샷 모델은 재학습된 LLM에 비해 금융 예측 과제에서 시장 감성을 얼마나 잘 포착하는가?
• RQ3 국소 극값(예: 21일간의 고점/저점)을 예측하는 것이 일일 가격 변동 예측보다 더 높은 예측 성능과 수익성을 제공하는가?
• RQ4 NLP 데이터의 예측 영향력은 시간이 지남에 따라 안정적인가, 아니면 시장 효율성이 향상되면서 효과가 감소하는가?
• RQ5 백테스트 트레이딩 환경에서 수익성을 극대화하기 위해 최적의 목표 변수는 무엇인가(일일 변동 대비 극값)?

주요 결과

• NLP 데이터 통합은 모든 평가 지표에서 예측 성능을 크게 향상시키며, AUC-ROC와 수익성 모두 시간이 지남에 따라 일관된 개선을 보였다.
• BART MNLI 제로샷 분류기는 사전 훈련된 LLM보다도 상승장 및 하락장 감성을 탐지하는 데서 뛰어난 성능을 보이며, 과제에 특화된 피지컬 테이닝 없이도 금융 텍스트에 대해 강력한 일반화 능력을 입증했다.
• 최대 1주일 전까지 지연된 텍스트 특징은 그랑저 인과성에 의해 유의미하며, 특히 21일간 극값 예측에서 감성 신호가 측정 가능한 리드 타임을 가진 예측 능력을 지닌다는 것을 시사한다.
• 국소 극값을 목표로 삼아 훈련한 모델은 높은 분류 정확도를 달성하고, 거래 횟수가 현저히 줄어들어 고거래비용 환경에 적합하다.
• 모든 모델이 교차검증 분할에서 일관되게 수익을 내며, 시간이 지남에 따라 성능 저하 또는 NLP 영향력 감소 없이 지속적인 수익성을 보였으며, 이는 텍스트 데이터를 통한 시장 비효율성의 지속 가능성과 활용 가능성을 시사한다.
• 비선형 모델(LSTM, TFT 등)은 선형 모델(OLS 등)보다 뛰어난 성능을 보였지만, 선형 모델조차도 칭찬할 만한 결과를 내었으며, 이는 비선형성이 존재하지만 재무 시계열에서 선형 관계가 여전히 주도적임을 시사한다.