[论文解读] Multi-modal Attention Network for Stock Movements Prediction

Shwai He, Shi Gu|arXiv (Cornell University)|Dec 27, 2021

Stock Market Forecasting Methods被引用 5

一句话总结

本文提出了一种多模态注意力网络（MMAN），通过可信度感知的注意力机制融合社交媒体情绪与历史价格数据，以提升股票走势预测性能。通过在模态间与模态内注意力机制下整合文本语义与数值趋势，该模型实现了61.20%的准确率与9.13%的虚拟交易利润，优于先前方法。

ABSTRACT

Stock prices move as piece-wise trending fluctuation rather than a purely random walk. Traditionally, the prediction of future stock movements is based on the historical trading record. Nowadays, with the development of social media, many active participants in the market choose to publicize their strategies, which provides a window to glimpse over the whole market's attitude towards future movements by extracting the semantics behind social media. However, social media contains conflicting information and cannot replace historical records completely. In this work, we propose a multi-modality attention network to reduce conflicts and integrate semantic and numeric features to predict future stock movements comprehensively. Specifically, we first extract semantic information from social media and estimate their credibility based on posters' identity and public reputation. Then we incorporate the semantic from online posts and numeric features from historical records to make the trading strategy. Experimental results show that our approach outperforms previous methods by a significant margin in both prediction accuracy (61.20\%) and trading profits (9.13\%). It demonstrates that our method improves the performance of stock movements prediction and informs future research on multi-modality fusion towards stock prediction.

研究动机与目标

• 通过结合异构数据源——社交媒体文本与历史价格时间序列，提升股票走势预测性能。
• 通过在注意力机制中引入发帖人可信度与声誉，解决社交媒体中相互冲突且不可靠的信息问题。
• 通过新型基于注意力的架构，有效融合语义与数值模态，提升预测性能。
• 与最先进基线模型相比，验证该模型在分类准确率与模拟交易表现两方面的优越性。

提出的方法

• 模型使用基于BERT的编码器从金融论坛帖子中提取语义特征，并通过发帖人身份与公开声誉估算可信度。
• 采用模态间-模态内注意力机制，动态加权并融合文本语义与日收盘价的历史价格趋势。
• 可信度评分被用作注意力权重，在特征融合过程中优先考虑可靠的社交媒体内容。
• 融合模块生成联合表征，捕捉两种模态之间的互补信号，用于最终预测。
• 模型使用分类头预测股票方向（上涨/下跌），并通过交叉熵损失端到端训练。
• 通过基于模型预测的虚拟交易模拟评估其在真实场景下的表现。

实验结果

研究问题

• RQ1 将社交媒体情绪与历史价格数据结合，是否能超越单模态模型，提升股票走势预测的准确率？
• RQ2 如何有效将社交媒体发帖人的可信度整合进注意力机制中，以减少不可靠内容带来的噪声？
• RQ3 通过模态间-模态内注意力实现的多模态融合，是否优于模态特定或早期融合的基线模型？
• RQ4 该模型在分类准确率与模拟交易盈利能力两方面，相较于最先进方法的优越程度如何？

主要发现

• 所提出的MMAN模型实现了61.20%的预测准确率，显著优于次佳基线模型CapTE（59.87%）。
• 模型的马修斯相关系数（MCC）为0.1193，表明预测结果与实际股票走势具有较强相关性。
• 在虚拟交易模拟中，MMAN在跨行业实现总利润913.2美元，超过CapTE的752.2美元与市场基准。
• 该模型在商业领域实现最高利润（12.4%回报），展现出在多样化市场条件下的鲁棒性。
• 通过类别激活图可视化，证实模型在文本特征与价格特征中聚焦于不同且互补的区域，验证了多模态假设。
• 消融实验表明，若移除可信度评分或注意力机制，性能将下降，证实二者在模型有效性中的关键作用。