[論文レビュー] MASTER: Market-Guided Stock Transformer for Stock Price Forecasting

Tong Li, Zhaoyang Liu+4 more|arXiv (Cornell University)|Dec 23, 2023

Stock Market Forecasting Methods被引用数 4

ひとこと要約

MASTERは、交互に内株式および株式間注意を用いることで、一時的かつ時系列をまたがる株式相関をモデル化する市場誘導型の株式トランスフォーマーを提案する。また、動的特徴選択のための市場に配慮したゲーティング機構を用いる。中国株式データセットにおいて、順位付け指標で平均13%の向上、ポートフォリオベースの指標で47%の向上を達成し、時間的に変化する現実的な株式関係を捉える点で、先行手法を上回る性能を発揮する。

ABSTRACT

Stock price forecasting has remained an extremely challenging problem for many decades due to the high volatility of the stock market. Recent efforts have been devoted to modeling complex stock correlations toward joint stock price forecasting. Existing works share a common neural architecture that learns temporal patterns from individual stock series and then mixes up temporal representations to establish stock correlations. However, they only consider time-aligned stock correlations stemming from all the input stock features, which suffer from two limitations. First, stock correlations often occur momentarily and in a cross-time manner. Second, the feature effectiveness is dynamic with market variation, which affects both the stock sequential patterns and their correlations. To address the limitations, this paper introduces MASTER, a MArkert-Guided Stock TransformER, which models the momentary and cross-time stock correlation and leverages market information for automatic feature selection. MASTER elegantly tackles the complex stock correlation by alternatively engaging in intra-stock and inter-stock information aggregation. Experiments show the superiority of MASTER compared with previous works and visualize the captured realistic stock correlation to provide valuable insights.

研究の動機と目的

• 固定された注目フィールドと静的特徴重み付けによる制限を受ける既存の株価予測モデルが、一時的かつ時系列をまたがる株式相関を捉えられていない点を是正すること。
• 時刻が一致しない状況や市場状況に応じて変化する動的株式相関をモデル化すること。静的または時刻同期された関係を仮定するのではなく、動的かつ時間的にずれた相関関係を捉えること。
• 完全な$τ \times |\mathcal{S}|$注目フィールドを回避することで、データが限られる株式予測における計算負荷を軽減し、最適化を改善しつつ、相関表現力を維持すること。
• 市場コンテキストを用いた自動特徴選択により、手動による特徴工学の依存度を低減し、市場の変化に適応可能なモデルの柔軟性を向上させること。
• 注目マップの可視化を通じて、非対称的で時間ずれがあり、疎な株式間関係をより現実的かつ詳細に捉えること。

提案手法

• 市場誘導型ゲーティング、内株式集約、株式間集約、時系列集約、予測の5段階アーキテクチャを導入し、動的相関モデリングを可能にする。
• 市場状態埋め込みを活用して、アダプティブかつ注目ベースの特徴選択を実現する新規ゲーティング機構を採用。学習可能な温度ハイパーパrameter$β$が選択の鋭さを制御する。
• 各株式の時系列内での自己注意（内株式自己注意）と、同じ時刻における複数株式間のクロス注意（株式間クロス注意）を交互に適用し、時系列パターンと株式間依存関係の両方をモデル化する。
• 完全な$τ \times |\mathcal{S}|$注目を回避するため、階層的かつ交互な構造を採用することで、計算コストを削減しつつ、一時的および時系列をまたがる相関モデリングを維持する。
• 両方の段階（内株式および株式間）でスケーリングドット積み込み注目を用いたマルチヘッド注目機構を採用。安定性を高めるために残差接続とレイヤーナーマライゼーションを適用。
• 株式間注目用に学習可能なクエリプロジェクションを採用。クエリは現在の時刻の表現から導出され、時間的および株式的変動に応じた動的相関発見を可能にする。

Figure 1: The framework of existing works. The dashed lines represent the underlying momentary and cross-time stock correlations, which reside between some ( $stock_{1},time_{1}$ ) , ( $stock_{2},time_{2}$ ) pairs.

実験結果

リサーチクエスチョン

• RQ1 どのようにして株価予測モデルが、時刻が一致しない一時的かつ時系列をまたがる株式相関をよりよく捉えることができるか？
• RQ2 トランスフォーマーに基づくアーキテクチャは、静的または時刻同期された相関グラフと比較して、動的株式相関をより効果的にモデル化できるか？
• RQ3 市場コンテキストは、異なる株式特徴の有効性にどのように影響するか？ これを自動的にモデル化できるか？
• RQ4 データが限られる株式予測において、階層的かつ交互な注目機構は、完全注目またはクラスタリングベースの近似手法を上回る性能を発揮するか？
• RQ5 注目マップの可視化により、従来の手法が見逃していた非対称的で時間ずれがあり、かつ疎な株式相関が明らかにできるか？

主な発見

• MASTERは、中国株式データセットにおける複数のベンチマークで、最先端のベースラインと比較して順位付け指標（例：スピアマンのrho）で平均13%の向上を達成した。
• ポートフォリオベースの指標では、ベースラインと比較して47%の性能向上を示し、実投資環境における実用的価値が明確に示された。
• アブレーションスタディの結果、限られたデータでも、ナーブな注目やクラスタリングベースの近似と比較して、交互な内株式および株式間集約機構が一貫して優れた性能を発揮した。
• 注目マップの可視化により、相関関係が一時的で、疎で非対称的であることが確認され、時間ずれのある相関（例：対角線上に集中していない）や、時間遅れ反応の明確な証拠が得られた。
• ゲーティング機構における最適な温度$β$は、CSI800のようなより複雑なデータセットでは小さくなる傾向にあり、ボラティリティの高い市場ではより強い特徴選択が求められることが示唆された。
• モデルの注目マップから、相関関係が時間とともにゆっくりと変化しており、同じ絶対的時系列窓に一致させた場合に、異なる予測日付間で類似した相関パターンが継続することが明らかになった。

Figure 2: Overview of the MASTER framework.