[论文解读] Listening to Chaotic Whispers: A Deep Learning Framework for News-oriented Stock Trend Prediction

Ziniu Hu, Weiqing Liu+3 more|arXiv (Cornell University)|Dec 6, 2017

Stock Market Forecasting Methods被引用 58

一句话总结

Introduces Hybrid Attention Networks with self-paced learning to predict stock trends from chaotic online news, improving accuracy and simulated trading returns.

ABSTRACT

Stock trend prediction plays a critical role in seeking maximized profit from stock investment. However, precise trend prediction is very difficult since the highly volatile and non-stationary nature of stock market. Exploding information on Internet together with advancing development of natural language processing and text mining techniques have enable investors to unveil market trends and volatility from online content. Unfortunately, the quality, trustworthiness and comprehensiveness of online content related to stock market varies drastically, and a large portion consists of the low-quality news, comments, or even rumors. To address this challenge, we imitate the learning process of human beings facing such chaotic online news, driven by three principles: sequential content dependency, diverse influence, and effective and efficient learning. In this paper, to capture the first two principles, we designed a Hybrid Attention Networks to predict the stock trend based on the sequence of recent related news. Moreover, we apply the self-paced learning mechanism to imitate the third principle. Extensive experiments on real-world stock market data demonstrate the effectiveness of our approach.

研究动机与目标

• 使用混乱的在线新闻来激发股票趋势预测，并解决数据质量问题。
• 使用注意力机制对序列上下文和新闻层面的不同影响进行建模。
• 通过 self-paced learning 引入一种高效且有效的学习范式，以应对困难样本。

提出的方法

• 提出 Hybrid Attention Networks (HAN) 具有两个注意力层：日期内的新闻层级注意力和跨日期的时间注意力。
• 使用新闻嵌入层（预训练 Word2Vec）来创建新闻向量，随后进行新闻层级注意力以形成日期语料向量。
• 使用双向 GRU 编码日期向量序列，并使用时间注意力层在时间上聚合。
• 实现 self-paced learning (SPL) 以通过迭代优化模型参数和样本权重逐步纳入更难样本。
• 使用真实世界的中国股票和新闻数据，以及一个简单的交易仿真；将 HAN 与 RF、MLP、News-RNN 变体以及带 SPL 的 HAN 变体进行比较。
• 关键方程包括新闻层级注意力 u_ti = sigmoid(W_n n_ti + b_n), alpha_ti = exp(u_ti) / sum_j exp(u_tj), d_t = sum_i alpha_ti n_ti, GRU 状态方程，以及用于 V 构造的时间注意力 o_i 和 beta_i。

实验结果

研究问题

• RQ1 深度学习框架是否能够有效地使用 chaotic, varying-quality 新闻预测次日股票趋势？
• RQ2 捕捉序列上下文和新闻层面重要性的分层注意力机制是否优于基线？
• RQ3 当数据包含嘈杂或稀疏新闻期时，self-paced learning 是否提升性能？

主要发现

• HAN with SPL 在 tri-label 分类中对基线达到最佳准确率。
• 时间注意力表明最近发布的新闻通常影响更大，在不同情境下呈现多样化模式。
• Self-paced learning 提高最终准确度和收敛性，尤其在较难样本上。
• 交易仿真显示 HAN-SPL 在多种 top-K 股票选择下具有最高的年化回报（如前 40 只股票的年化回报为 0.611）。
• 新闻注意力可以将信息丰富的文章与信息不足的文章区分开来，与高关注示例的观察一致。
• 该框架相较于 RF、MLP、News-RNN 和 Temp-ATT 变体显示显著的性能提升。