[论文解读] Improved Method of Stock Trading under Reinforcement Learning Based on DRQN and Sentiment Indicators ARBR

Peng Zhou, Jingling Tang|arXiv (Cornell University)|Nov 19, 2021

Stock Market Forecasting Methods被引用 4

一句话总结

本文提出DRQN-ARBR，一种改进的深度强化学习模型，用于股票交易，通过整合长短期记忆（LSTM）网络与ARBR情绪指标，解决中国非有效市场中记忆限制和非理性投资者行为的问题。该模型通过增强状态表征和学习长期依赖关系，显著优于传统DQN，实现更优的交易表现。

ABSTRACT

With the application of artificial intelligence in the financial field, quantitative trading is considered to be profitable. Based on this, this paper proposes an improved deep recurrent DRQN-ARBR model because the existing quantitative trading model ignores the impact of irrational investor behavior on the market, making the application effect poor in an environment where the stock market in China is non-efficiency. By changing the fully connected layer in the original model to the LSTM layer and using the emotion indicator ARBR to construct a trading strategy, this model solves the problems of the traditional DQN model with limited memory for empirical data storage and the impact of observable Markov properties on performance. At the same time, this paper also improved the shortcomings of the original model with fewer stock states and chose more technical indicators as the input values of the model. The experimental results show that the DRQN-ARBR algorithm proposed in this paper can significantly improve the performance of reinforcement learning in stock trading.

研究动机与目标

• 解决传统DQN模型在处理长期依赖关系和股票交易应用中记忆有限方面的局限性。
• 整合情绪指标，特别是ARBR，以建模中国非有效股票市场中的非理性投资者行为。
• 通过在基础价格数据之外扩展输入特征，纳入多种技术指标，提升股票状态的表征能力。
• 通过用LSTM层替换DRQN中的全连接层，提升时间特征学习能力，从而增强模型性能。
• 通过实证回测，在真实交易场景中验证DRQN-ARBR模型的有效性。

提出的方法

• 将原始DRQN模型中的全连接层替换为LSTM层，以改善序列数据建模与记忆保持能力。
• 将ARBR情绪指标作为额外输入特征，以捕捉受投资者行为影响的市场情绪。
• 通过纳入价格和成交量之外的多种技术指标，扩展输入状态空间，丰富特征表征。
• 使用基于累计投资组合收益的奖励函数，在强化学习框架中训练DRQN-ARBR模型。
• 采用经验回放和目标网络技术以稳定训练，与标准DQN和DRQN架构保持一致。
• 在训练过程中应用ε-贪婪探索策略，并采用衰减调度以平衡探索与利用。

实验结果

研究问题

• RQ1 将DRQN中的全连接层替换为LSTM层，是否能提升股票交易任务中的性能？
• RQ2 在非有效市场中，整合ARBR情绪指标在多大程度上能提升交易策略的表现？
• RQ3 通过引入多种技术指标扩展输入状态空间，对模型学习能力和盈利能力有何影响？
• RQ4 DRQN-ARBR模型在累计收益和风险调整后表现方面，是否优于标准DQN和DRQN？
• RQ5 DRQN-ARBR模型在不同市场条件和数据分布下具有多强的鲁棒性？

主要发现

• 在回测中国股票市场数据时，DRQN-ARBR模型相比基线DQN和DRQN模型显著提升了交易表现。
• ARBR情绪指标的整合使模型能更好地适应市场情绪变化，特别是在非理性投资者行为频发的时期。
• 使用LSTM替代全连接层，增强了模型学习序列价格与情绪数据中长期依赖关系的能力。
• 扩展后的输入状态空间（包含多种技术指标）有助于做出更明智的交易决策，并提升策略的鲁棒性。
• 在实验评估中，该模型实现了更高的累计收益和更优的风险调整性能指标（如夏普比率）。
• 结果表明，DRQN-ARBR能有效缓解传统DQN在非马尔可夫性和非有效市场环境下的局限性。