[논문 리뷰] Enhancing Price Prediction in Cryptocurrency Using Transformer Neural Network and Technical Indicators

Mohammad Ali Labbaf Khaniki, Mohammad Manthouri|arXiv (Cornell University)|2024. 03. 06.

Blockchain Technology Applications and Security인용 수 4

한 줄 요약

이 논문은 계산 효율성을 높이기 위해 FAVOR+ 어텐션을 활용하고, 양방향 순환 신경망(BiLSTM)과 기술적 지표를 통합한 하이브리드 딥러닝 모델을 제안하여 비트코인, 이더리움, 리플라이트의 가격 예측을 향상시킨다. Performer 기반 트랜스포머와 BiLSTM의 조합을 통해 시간 간격이 짧고 긴 시계열 데이터에서 기존 방법들보다 뛰어난 성능을 달성한다.

ABSTRACT

This study presents an innovative approach for predicting cryptocurrency time series, specifically focusing on Bitcoin, Ethereum, and Litecoin. The methodology integrates the use of technical indicators, a Performer neural network, and BiLSTM (Bidirectional Long Short-Term Memory) to capture temporal dynamics and extract significant features from raw cryptocurrency data. The application of technical indicators, such facilitates the extraction of intricate patterns, momentum, volatility, and trends. The Performer neural network, employing Fast Attention Via positive Orthogonal Random features (FAVOR+), has demonstrated superior computational efficiency and scalability compared to the traditional Multi-head attention mechanism in Transformer models. Additionally, the integration of BiLSTM in the feedforward network enhances the model's capacity to capture temporal dynamics in the data, processing it in both forward and backward directions. This is particularly advantageous for time series data where past and future data points can influence the current state. The proposed method has been applied to the hourly and daily timeframes of the major cryptocurrencies and its performance has been benchmarked against other methods documented in the literature. The results underscore the potential of the proposed method to outperform existing models, marking a significant progression in the field of cryptocurrency price prediction.

연구 동기 및 목표

• 고도화된 딥러닝 아키텍처를 활용하여 암호화폐 가격 예측의 정확도를 향상시키는 것.
• 표준 어텐션 메커니즘의 한계를 해결하기 위해 FAVOR+를 도입하여 트랜스포머의 계산적 확장성과 효율성을 높이는 것.
• 기본 가격 데이터에서 모멘텀, 변동성, 추세 패턴을 추출하기 위해 기술적 지표를 통합하는 것.
• 양방향 LSTM과 어텐션 기반 모델링을 조합하여 시간적 특징 학습을 향상시키고, 더 나은 시퀀스 표현을 확보하는 것.
• 다양한 시간 간격(시간대별 및 일일)에서 주요 암호화폐에 대해 제안된 모델을 기존 최첨단 기법들과 비교 평가하는 것.

제안 방법

• 시장 제도 특성(예: RSI, MACD, 볼린저 밴드)을 입력 특징으로 사용하여 시장 상태를 인코딩한다.
• 표준 다중 헤드 어텐션 대신 계산 복잡도를 낮추면서도 장거리 의존성 모델링 능력을 유지하기 위해 FAVOR+ 어텐션을 적용한 Performer 신경망을 사용한다.
• Performer 인코더 다음에 양방향 순환 신경망(BiLSTM)을 배치하여 가격 시퀀스의 양방향 시간적 의존성을 포착한다.
• 기본 가격 데이터와 기술적 지표의 융합은 하이브리드 아키텍처를 통해 처리되어 다단계 가격 예측을 생성한다.
• 표준 회귀 손실 함수를 사용하여 비트코인, 이더리움, 리플라이트의 시간대별 및 일일 가격 데이터를 엔드 투 엔드로 훈련한다.
• 테스트 분할에서 RMSE, MAE, R²와 같은 표준 지표를 사용하여 성능을 평가하고, 문헌에서 기존 기준 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 FAVOR+ 어텐션을 적용한 Performer 기반 트랜스포머가 암호화폐 가격 예측 과제에서 표준 트랜스포머를 능가할 수 있는가?
• RQ2 기술적 지표의 통합이 암호화폐 시계열에 대한 딥러닝 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ3 BiLSTM의 포함이 단방향 또는 어텐션 중심 아키텍처에 비해 시간적 특징 학습에 얼마나 기여하는가?
• RQ4 제안된 하이브리드 모델은 다양한 암호화폐와 시간 간격(시간대별 대비 일일)에 일반화 가능한가?
• RQ5 예측 정확도와 계산 효율성 측면에서 기존 최첨단 기법들과의 정량적 비교에서 모델은 어떤가?

주요 결과

• 제안된 모델은 비트코인, 이더리움, 리플라이트의 시간대별 및 일일 가격 예측 과제에서 기준 모델보다 낮은 RMSE와 MAE 값을 기록했다.
• FAVOR+ 어텐션의 적용으로 표준 다중 헤드 어텐션 대비 더 빠른 추론 속도와 메모리 소비 감소를 달성하여 장기간 시퀀스에 대한 확장성 향상을 이뤘다.
• 기술적 지표의 통합은 특히 추세 전환과 변동성 제도를 포착하는 데 있어 모델 성능 향상에 상당한 기여를 하였다.
• BiLSTM 구성 요소는 시퀀스를 정방향과 역방향 모두에서 처리함으로써 장기 의존성 학습을 향상시켰다.
• 공개 데이터셋을 활용한 벤치마크 비교를 통해 기존 최첨단 기법들보다 뛰어난 예측 정확도를 확보하였다.
• 제거 실험(ablation study) 결과, 기술적 지표, Performer, BiLSTM의 조합이 가장 높은 예측 성능을 내어 구성 요소 간 상호보완적 상호작용을 입증하였다.