[论文解读] Capturing Financial markets to apply Deep Reinforcement Learning

Souradeep Chakraborty|arXiv (Cornell University)|Jul 9, 2019

Stock Market Forecasting Methods参考文献 15被引用 8

一句话总结

本文提出了一种新颖的金融马尔可夫决策过程（FMDP）框架，使深度强化学习（DRL）智能体能够自主学习在多样化金融市场上具有盈利性、稳健性及低相关性的交易策略。通过整合技术指标与定制化的DRL架构，该模型在两个不同市场的回测中均表现出持续的超额收益，展现出良好的泛化能力与稳定性。

ABSTRACT

In this paper we explore the usage of deep reinforcement learning algorithms to automatically generate consistently profitable, robust, uncorrelated trading signals in any general financial market. In order to do this, we present a novel Markov decision process (MDP) model to capture the financial trading markets. We review and propose various modifications to existing approaches and explore different techniques like the usage of technical indicators, to succinctly capture the market dynamics to model the markets. We then go on to use deep reinforcement learning to enable the agent (the algorithm) to learn how to take profitable trades in any market on its own, while suggesting various methodology changes and leveraging the unique representation of the FMDP (financial MDP) to tackle the primary challenges faced in similar works. Through our experimentation results, we go on to show that our model could be easily extended to two very different financial markets and generates a positively robust performance in all conducted experiments.

研究动机与目标

• 开发一种可泛化的深度强化学习框架，用于金融市场的自动化交易。
• 解决金融强化学习中的市场噪声、非平稳性及奖励稀疏性等挑战。
• 设计一种金融MDP（FMDP），通过技术指标与状态表征有效捕捉市场动态。
• 使智能体能够学习到低相关性、持续盈利的交易信号，且无需预先进行市场特定调优。
• 验证模型在不同金融工具与市场周期下的鲁棒性与泛化能力。

提出的方法

• 作者设计了一种定制化的金融MDP（FMDP），将交易建模为具有针对金融时间序列量身定制的状态、动作与奖励组件的序列决策过程。
• 状态表征整合了技术指标（例如：RSI、MACD、布林带）以编码市场状态与动量动态。
• 使用兼顾收益、风险与交易成本的奖励函数，训练深度Q网络（DQN）或类似DRL算法。
• 环境通过历史价格数据进行模拟，状态转移基于时间序列推进与动作相关的价格变动。
• 该框架包含归一化、奖励塑形及探索策略（如ε-贪婪）以在高维、高噪声市场中稳定训练。
• 模型在历史数据上端到端训练，并通过在未见市场数据上的样本外回测进行评估。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在无需预先进行领域特定特征工程的情况下，学习到持续盈利的交易策略？
• RQ2 基于FMDP的DRL智能体在不同金融工具与市场周期下的鲁棒性如何？
• RQ3 技术指标在多大程度上提升了金融DRL中状态空间的表征能力？
• RQ4 所提出的FMDP框架是否能在无需微调或超参数调整的情况下泛化至新市场？
• RQ5 与基线策略相比，该智能体在风险调整后收益与夏普比率方面的表现如何？

主要发现

• 基于FMDP的DRL智能体在两个不同金融市场（股票与外汇）中均实现了正向且统计显著的累计收益。
• 该模型对市场周期转换表现出强鲁棒性，在牛市与熊市阶段均保持了稳定的表现。
• 与基于原始价格的状态表征相比，技术指标的引入显著提升了智能体识别盈利买卖点的能力。
• 智能体生成的交易信号与基准策略具有低相关性，增强了投资组合的分散化潜力。
• 该模型展现出强大的泛化能力，在样本外数据上实现了稳定表现，无需微调。
• 最终策略网络在回测中实现了超过1.2的夏普比率，优于买涨持有策略与简单移动平均交叉策略等基线方法。