[논문 리뷰] On Technical Trading and Social Media Indicators in Cryptocurrencies' Price Classification Through Deep Learning

Marco Ortu, Nicola Uras외 3명|arXiv (Cornell University)|2021. 02. 13.

Blockchain Technology Applications and Security인용 수 7

한 줄 요약

이 연구는 비트코인과 이더리움의 가격 변동 방향(상승 또는 하락)을 분류하기 위해 기술적 지표, 거래 신호 및 소셜 미디어 지표를 조합한 딥러닝 프레임워크를 제안한다. LSTM, CNN, MLP 및 ALSTM 모델을 사용하여, 소셜 감성과 거래 신호를 통합할 경우 예측 정확도가 시간당 빈도에서 제한 모델의 51–55%에서 비제한 모델의 67–84%로 향상됨을 입증하였으며, 비제한 모델에서 LSTM이 가장 높은 성능을 기록하였다.

ABSTRACT

This work aims to analyse the predictability of price movements of cryptocurrencies on both hourly and daily data observed from January 2017 to January 2021, using deep learning algorithms. For our experiments, we used three sets of features: technical, trading and social media indicators, considering a restricted model of only technical indicators and an unrestricted model with technical, trading and social media indicators. We verified whether the consideration of trading and social media indicators, along with the classic technical variables (such as price's returns), leads to a significative improvement in the prediction of cryptocurrencies price's changes. We conducted the study on the two highest cryptocurrencies in volume and value (at the time of the study): Bitcoin and Ethereum. We implemented four different machine learning algorithms typically used in time-series classification problems: Multi Layers Perceptron (MLP), Convolutional Neural Network (CNN), Long Short Term Memory (LSTM) neural network and Attention Long Short Term Memory (ALSTM). We devised the experiments using the advanced bootstrap technique to consider the variance problem on test samples, which allowed us to evaluate a more reliable estimate of the model's performance. Furthermore, the Grid Search technique was used to find the best hyperparameters values for each implemented algorithm. The study shows that, based on the hourly frequency results, the unrestricted model outperforms the restricted one. The addition of the trading indicators to the classic technical indicators improves the accuracy of Bitcoin and Ethereum price's changes prediction, with an increase of accuracy from a range of 51-55% for the restricted model, to 67-84% for the unrestricted model.

연구 동기 및 목표

• 소셜 미디어 감성과 거래 지표를 통합할 경우 기존 기술적 지표만을 사용하는 모델보다 암호화폐 가격 변동 방향 분류 정확도가 향상되는지 평가하는 것.
• 비트코인과 이더리움의 가격 방향 예측에 있어 네 가지 딥러닝 모델—MLP, CNN, LSTM, ALSTM—의 성능을 비교하는 것.
• 모델 복잡도와 데이터 빈도(시간당 대비 일일)가 분류 성능에 미치는 영향을 평가하는 것.
• 비트코인과 이더리움의 가격 방향 예측에 있어 기술적 지표 외에 소셜 지표(예: 레딧 및 깃허브 댓글의 감성)가 추가적인 예측 능력을 제공하는지 여부를 판단하는 것.

제안 방법

• 연구는 세 가지 유형의 지표를 다중 모odal 입력으로 사용한다: 기술적 지표(예: 시가, 종가, 거래량), 거래 지표(예: 이동 평균, 모멘텀), 소셜 미디어 감성(레딧 및 깃허브 댓글에서 유도됨).
• 네 가지 딥러닝 아키텍처가 평가된다: 다층 퍼셉트론(MLP), 컨볼루션 신경망(CNN), 장기 단기 기억(LSTM), 어텐션 장기 단기 기억(ALSTM).
• 두 가지 모델 유형이 테스트된다: 기술적 지표만을 사용하는 제한 모델과 기술적, 거래, 소셜 지표를 모두 포함하는 비제한 모델.
• 분류 작업은 이진 문제로 설정되며, 다음 가격 변동이 상승할지 하락할지 예측하는 것이다.
• 성능 평가에는 정확도, 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하며, 안정적인 추정을 위해 부트스트랩 리샘플링 기법을 적용한다.
• 시간당 및 일일 빈도 해상도에서 실험을 수행하여 모델의 시간적 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 기술적 지표만을 사용하는 모델에 비해 소셜 미디어 감성과 거래 지표를 통합할 경우 암호화폐 가격 변동 방향 분류 정확도가 향상되는가?
• RQ2 MLP, CNN, LSTM, ALSTM 중 어느 딥러닝 아키텍처가 다양한 데이터 빈도에서 비트코인과 이더리움의 가격 방향 예측에 가장 뛰어난 성능을 보이는가?
• RQ3 제한 모델과 비제한 모델에서 시간당 및 일일 빈도 해상도 간 성능 차이가 어떻게 나타나는가?
• RQ4 소셜 및 거래 지표를 추가함으로써 발생하는 성능 향상은 모든 딥러닝 모델에서 통계적으로 유의미하고 일관된가?
• RQ5 일일 가격 분류에서 기술적 지표만으로도 더 복잡한 모델에 비해 더 높은 성능를 보일 수 있는가?

주요 결과

• 시간당 빈도에서 비제한 모델(기술적, 거래, 소셜 지표 포함)은 제한 모델보다 유의미하게 높은 정확도를 기록하며, 예측 정확도가 51–55%에서 67–84%로 향상된다.
• 시간당 빈도에서 비제한 모델의 경우, LSTM 신경망이 비트코인에 대해 83%, 이더리움에 대해 84%의 최고 정확도를 기록한다.
• 소셜 및 거래 지표를 추가함으로써 발생하는 성능 향상은 네 가지 딥러닝 모델 전반에 걸쳐 일관되며, 알고리즘 특이성이 아님을 시사한다.
• 일일 빈도에서 이더리움의 경우 기술적 지표만으로도 가장 높은 성능을 기록하며, MALSTM-FCN 모델이 99%의 정확도를 달성한다.
• 비트코인의 일일 빈도에서 가장 높은 성능은 소셜 미디어 지표를 포함한 비제한 모델에서 기록되었으며, 정확도는 60%, F1 점수는 55%였다.
• 연구 결과, 소셜 지표의 통합은 특히 높은 빈도 해상도에서 측정 가능한 일관성 있는 성능 향상을 이끌어내는 것으로 확인되었다.