[论文解读] MASTER: Market-Guided Stock Transformer for Stock Price Forecasting

Tong Li, Zhaoyang Liu+4 more|arXiv (Cornell University)|Dec 23, 2023

Stock Market Forecasting Methods被引用 4

一句话总结

MASTER 提出了一种市场引导的股票变换器模型，通过交替使用个股内注意力和跨股票间注意力，对瞬时的、跨时间的股票相关性进行建模，同时利用市场感知门控机制实现动态特征选择。在中文股票数据集上，其排名指标平均提升13%，投资组合指标提升47%，优于先前方法，在捕捉现实世界中随时间变化的股票关系方面表现更优。

ABSTRACT

Stock price forecasting has remained an extremely challenging problem for many decades due to the high volatility of the stock market. Recent efforts have been devoted to modeling complex stock correlations toward joint stock price forecasting. Existing works share a common neural architecture that learns temporal patterns from individual stock series and then mixes up temporal representations to establish stock correlations. However, they only consider time-aligned stock correlations stemming from all the input stock features, which suffer from two limitations. First, stock correlations often occur momentarily and in a cross-time manner. Second, the feature effectiveness is dynamic with market variation, which affects both the stock sequential patterns and their correlations. To address the limitations, this paper introduces MASTER, a MArkert-Guided Stock TransformER, which models the momentary and cross-time stock correlation and leverages market information for automatic feature selection. MASTER elegantly tackles the complex stock correlation by alternatively engaging in intra-stock and inter-stock information aggregation. Experiments show the superiority of MASTER compared with previous works and visualize the captured realistic stock correlation to provide valuable insights.

研究动机与目标

• 解决现有股票价格预测模型因固定注意力感受野和静态特征加权而无法捕捉瞬时与跨时间股票相关性的局限性。
• 建模在时间错位的时刻发生的动态股票相关性，并随市场状况变化，而非假设静态或时间对齐的关系。
• 通过避免全 $τ \times |\mathcal{S}|$ 注意力感受野，在保留相关性表达能力的同时，降低数据稀缺场景下的计算负担并提升优化效率。
• 利用市场上下文自动进行特征选择，减少对手动特征工程的依赖，并提升模型对市场状态变化的适应能力。
• 通过注意力可视化提供更真实、更细致的股票相关性视图，揭示非对称、时间偏移及稀疏的跨股票关系。

提出的方法

• 提出五阶段架构：市场引导门控、个股内聚合、跨股票间聚合、时间聚合与预测，实现动态相关性建模。
• 引入一种新颖的门控机制，利用市场状态嵌入实现自适应、基于注意力的特征选择，可学习的温度超参数 $β$ 控制选择的锐度。
• 在个股内自注意力（每个股票序列内部）与跨股票间交叉注意力（同一时间步各股票之间）之间交替，以同时建模序列模式与跨股票依赖关系。
• 通过分层、交替的结构设计避免全 $τ \times |\mathcal{S}|$ 注意力，降低计算成本，同时保留对瞬时与跨时间相关性的建模能力。
• 在个股内与跨股票间两个阶段均采用多头注意力机制，结合缩放点积注意力，辅以残差连接与层归一化以提升训练稳定性。
• 在跨股票注意力中采用可学习的查询投影，其中查询由当前时间步的表示生成，从而实现在时间和股票间动态发现相关性。

Figure 1: The framework of existing works. The dashed lines represent the underlying momentary and cross-time stock correlations, which reside between some ( $stock_{1},time_{1}$ ) , ( $stock_{2},time_{2}$ ) pairs.

实验结果

研究问题

• RQ1 如何使股票价格预测模型更好地捕捉时间上未对齐的瞬时与跨时间股票相关性？
• RQ2 基于变换器的架构是否能比静态或时间对齐的相关性图更有效地建模动态股票相关性？
• RQ3 市场上下文如何影响不同股票特征的有效性？这一影响能否被自动建模？
• RQ4 在数据稀缺的股票预测中，分层交替注意力机制是否优于全注意力或聚类近似方法？
• RQ5 注意力可视化能否揭示先前方法所忽略的真实、非对称且存在时间偏移的股票相关性？

主要发现

• 在多个中文股票数据集基准上，MASTER 在排名指标（如斯皮尔曼等级相关系数）上相较最先进基线模型平均提升13%。
• 在投资组合相关指标上，MASTER 相较基线模型性能提升47%，在真实投资场景中展现出显著的实际价值。
• 消融实验表明，交替的个股内与跨股票间聚合机制在数据有限时仍持续优于朴素注意力与聚类近似方法。
• 注意力图可视化证实，相关性具有瞬时性、稀疏性与非对称性，且存在明显的时间错位对齐特征（如非以对角线为中心）与时间延迟响应。
• 在更复杂的数据集（如 CSI800）中，门控机制的最优温度 $β$ 更小，表明在波动市场中需要更强的特征选择能力。
• 模型的注意力图显示，相关性随时间缓慢变化，当对齐至相同绝对时间窗口时，不同预测日期的相关性模式具有高度一致性。

Figure 2: Overview of the MASTER framework.