[論文レビュー] Enhancing Price Prediction in Cryptocurrency Using Transformer Neural Network and Technical Indicators

Mohammad Ali Labbaf Khaniki, Mohammad Manthouri|arXiv (Cornell University)|Mar 6, 2024

Blockchain Technology Applications and Security被引用数 4

ひとこと要約

本稿では、PerformerベースのTransformers、BiLSTM、およびテクニカルインジケーターを組み合わせたハイブリッドディープラーニングモデルを提案し、ビットコイン、イーサリアム、リッジテインの価格予測を向上させることを目的としている。FAVOR+アテンションを活用することで計算効率を高め、双方向の時系列モデリングを実現し、従来の手法と比較して、時間分解能が1時間および1日という時間枠で優れた性能を達成している。

ABSTRACT

This study presents an innovative approach for predicting cryptocurrency time series, specifically focusing on Bitcoin, Ethereum, and Litecoin. The methodology integrates the use of technical indicators, a Performer neural network, and BiLSTM (Bidirectional Long Short-Term Memory) to capture temporal dynamics and extract significant features from raw cryptocurrency data. The application of technical indicators, such facilitates the extraction of intricate patterns, momentum, volatility, and trends. The Performer neural network, employing Fast Attention Via positive Orthogonal Random features (FAVOR+), has demonstrated superior computational efficiency and scalability compared to the traditional Multi-head attention mechanism in Transformer models. Additionally, the integration of BiLSTM in the feedforward network enhances the model's capacity to capture temporal dynamics in the data, processing it in both forward and backward directions. This is particularly advantageous for time series data where past and future data points can influence the current state. The proposed method has been applied to the hourly and daily timeframes of the major cryptocurrencies and its performance has been benchmarked against other methods documented in the literature. The results underscore the potential of the proposed method to outperform existing models, marking a significant progression in the field of cryptocurrency price prediction.

研究の動機と目的

• 高度なディープラーニングアーキテクチャを用いて暗号通貨価格予測の精度を向上させること。
• 標準的なアテンション機構の限界を克服するため、FAVOR+を用いて計算スケーラビリティを向上させること。
• テクニカルインジケーターを統合し、生の価格データからモーメンタム、ボラティリティ、トレンドパターンを抽出すること。
• 双方向LSTMとアテンションベースのモデリングを組み合わせることで、時系列特徴の学習を強化し、より優れたシーケンス表現を実現すること。
• 複数の時間枠（1時間・1日）で主要な暗号通貨に対して、提案モデルを既存の最先端手法と比較してベンチマークすること。

提案手法

• 市場の状態特性を符号化するために、テクニカルインジケーター（例：RSI、MACD、ボリンジャーバンド）を入力特徴量として使用する。
• 標準的なマルチヘッドアテンションに代わり、計算複雑度を低減しつつ長距離依存関係のモデリングを維持するため、FAVOR+アテンションを備えたPerformerニューラルネットワークを採用する。
• Performerエンコーダーの後続にBiLSTM層を配置し、価格シーケンス内の双方向時系列依存関係を捉える。
• 生の価格データとテクニカルインジケーターの統合処理を、ハイブリッドアーキテクチャを通じて行い、マルチステップ価格予測を生成する。
• 標準的な回帰損失関数を用いて、ビットコイン、イーサリアム、リッジテインの1時間および1日単位の価格データに対して、エンドツーエンドで学習を行う。
• テスト分割における標準指標（RMSE、MAE、R²）を用いて性能を評価し、文献からのベースラインモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 FAVOR+アテンションを備えたPerformerベースのTransformerは、標準的なTransformersに比べ、暗号通貨価格予測タスクで優れた性能を発揮するか？
• RQ2 テクニカルインジケーターの統合は、暗号通貨時系列におけるディープラーニングモデルの予測性能をどのように向上させるか？
• RQ3 BiLSTMの導入は、単方向または自己アテンションのみのアーキテクチャと比較して、時系列特徴学習にどの程度寄与するか？
• RQ4 提案されたハイブリッドモデルは、異なる暗号通貨および時間枠（1時間対1日）に一般化可能か？
• RQ5 予測精度と計算効率の観点から、既存の最先端手法と比較して、定量的にどの程度優れているか？

主な発見

• 提案モデルは、ビットコイン、イーサリアム、リッジテインの1時間および1日単位の価格予測タスクにおいて、ベースラインモデルと比較して低いRMSEおよびMAE値を達成した。
• FAVOR+アテンションの使用により、標準的なマルチヘッドアテンションと比較して、推論速度が向上し、メモリ消費量が削減された。これにより、長時間系列へのスケーラビリティが向上した。
• テクニカルインジケーターの統合により、特にトレンド転換やボラティリティ状態の把握において、モデル性能が顕著に向上した。
• BiLSTM部は、順方向および逆方向の両方向でシーケンスを処理することで、長期的依存関係の学習を改善した。
• 公開データセットを用いたベンチマーク比較により、予測精度の観点で、既存の最先端手法を上回ることが実証された。
• アブレーションスタディの結果、テクニカルインジケーター、Performer、BiLSTMの組み合わせが最高の予測性能を発揮し、各コンponent間の相乗効果が明確に示された。