[論文レビュー] Transformer-Based Deep Learning Model for Stock Price Prediction: A Case Study on Bangladesh Stock Market

Tashreef Muhammad, Anika Bintee Aftab+5 more|arXiv (Cornell University)|Aug 17, 2022

Stock Market Forecasting Methods被引用数 9

ひとこと要約

本稿では、ダッカ証券取引所（DSE）の株価予測を目的として、Time2Vec位置符号化を組み込んだトランスフォーマー基盤の深層学習モデルを提案する。本モデルは、歴史的かつ日次・週次データを用いて、DSEに上場する8銘柄の株価を予測し、RMSEおよびMAEが低く抑えられ、新興市場における短期・長期投資予測の両面で優れた性能と実用可能性を示している。

ABSTRACT

In modern capital market the price of a stock is often considered to be highly volatile and unpredictable because of various social, financial, political and other dynamic factors. With calculated and thoughtful investment, stock market can ensure a handsome profit with minimal capital investment, while incorrect prediction can easily bring catastrophic financial loss to the investors. This paper introduces the application of a recently introduced machine learning model - the Transformer model, to predict the future price of stocks of Dhaka Stock Exchange (DSE), the leading stock exchange in Bangladesh. The transformer model has been widely leveraged for natural language processing and computer vision tasks, but, to the best of our knowledge, has never been used for stock price prediction task at DSE. Recently the introduction of time2vec encoding to represent the time series features has made it possible to employ the transformer model for the stock price prediction. This paper concentrates on the application of transformer-based model to predict the price movement of eight specific stocks listed in DSE based on their historical daily and weekly data. Our experiments demonstrate promising results and acceptable root mean squared error on most of the stocks.

研究の動機と目的

• 発展途上市場としてのダッカ証券取引所（DSE）における高い変動性を示す株価を予測する課題に対処すること。
• 自然言語処理やビジョン分野で優位を占めてきたトランスフォーマー・アーキテクチャが、新興経済における時系列株価予測に適用可能かどうかを検討すること。
• 時系列株価データ内の時間的依存関係を効果的に表現するため、Time2Vec位置符号化を統合すること。
• モデルの性能を、日次および週次歴史的データの両方で評価し、耐久性およびスケーラビリティを検証すること。
• 注目型モデルがバングラデシュのような未開拓な金融市場においても、信頼できる予測を提供できることを示すこと。

提案手法

• 本モデルは、株価時系列における長距離依存関係を捉えるために、マルチヘッド自己注意機構を備えた標準的なトランスフォーマー・エンコーダー・アーキテクチャを採用する。
• Time2Vec位置符号化を入力埋め込みに適用し、絶対的な時間インデックスに依存せずに、時間的パターンを学習できるようにする。
• 入力データは、DSEに上場する8銘柄の歴史的日次・週次終値から構成され、正規化および定常化処理が施されている。
• モデルは回帰タスクとして学習され、次の日または週の終値を予測するもので、損失関数として平均二乗誤差（MSE）と平均絶対誤差（MAE）が使用される。
• 汎化性能を確保するため、訓練・検証・テストに分離されたデータ分割を採用し、最適なパフォーマンスを得るためのハイパーパramータチューニングが実施される。
• テストセットにおけるRMSEおよびMAE指標を用いてモデルの性能を評価し、予測値と実際の株価の視覚的比較も実施する。

Figure 1: Distribution of the EOD closing price of a selected stock, namely AGRANINS

実験結果

リサーチクエスチョン

• RQ1 Time2Vec符号化を組み込んだトランスフォーマー基盤のモデルは、ダッカ証券取引所における株価動向を効果的に予測できるか？
• RQ2 DSEの文脈において、日次と週次の時間分解能の違いがモデルのパフォーマンスにどのように影響するか？
• RQ3 スパイクやボラティリティの高いデータ特性が、訓練誤差と検証／テスト誤差の乖離に与える影響は何か？
• RQ4 注目メカニズムは、低頻度で新興市場の株価データにおいて、意味のある時間的パターンをどの程度捉えることができるか？
• RQ5 価格行動や時価総額が異なる多様な銘柄に対して、モデルはどの程度一般化できるか？

主な発見

• テストセットにおいて、RMSEが非常に低く抑えられ、日次データでは1JANATAMFで6.59×10⁻²、AAMRANETで1.02×10⁻¹を記録し、高い予測精度を示した。
• 週次データに対しても、誤差率が低く維持され、1JANATAMFで7.70×10⁻²、AAMRANETで1.72×10⁻¹を記録し、時間スケールを問わず一貫したパフォーマンスを示した。
• 視覚的分析から、ACI、ACIFORMULA、DELTALIFEなど多くの銘柄において、予測価格が実際の価格とほぼ重複しており、ほとんどの場合で最小限の乖離が観察された。
• 一部の銘柄（例：DELTALIFE）では、訓練誤差が検証／テスト誤差よりも高かったが、これは訓練データに検証データに存在しない極端なピークや谷が含まれていたためと推定された。
• ボラティリティの高い市場動向時においても、ズームインした可視化により、予測値が実際の値に近接していることが確認され、モデルの耐性および一般化性能が裏付けられた。
• 結果から、Time2Vecとトランスフォーマーの統合により、データが乏しい新興市場の金融時系列でも、時間的ダイナミクスを効果的にモデル化できることが示唆された。

Figure 2: Closing price of a selected Stock, namely AGRANINS over a time window of around eight years