[论文解读] Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review

Tidor-Vlad Pricope|arXiv (Cornell University)|May 31, 2021

Stock Market Forecasting Methods被引用 26

一句话总结

本论文综述深度强化学习（DRL）在自动化、低频量化股票交易中的应用，突出潜在结果以及在实时测试和盈利验证方面存在的显著差距。

ABSTRACT

Algorithmic stock trading has become a staple in today's financial market, the majority of trades being now fully automated. Deep Reinforcement Learning (DRL) agents proved to be to a force to be reckon with in many complex games like Chess and Go. We can look at the stock market historical price series and movements as a complex imperfect information environment in which we try to maximize return - profit and minimize risk. This paper reviews the progress made so far with deep reinforcement learning in the subdomain of AI in finance, more precisely, automated low-frequency quantitative stock trading. Many of the reviewed studies had only proof-of-concept ideals with experiments conducted in unrealistic settings and no real-time trading applications. For the majority of the works, despite all showing statistically significant improvements in performance compared to established baseline strategies, no decent profitability level was obtained. Furthermore, there is a lack of experimental testing in real-time, online trading platforms and a lack of meaningful comparisons between agents built on different types of DRL or human traders. We conclude that DRL in stock trading has showed huge applicability potential rivalling professional traders under strong assumptions, but the research is still in the very early stages of development.

研究动机与目标

• 评估 DRL 如何被应用于低频股票市场中的端到端交易代理。
• 将方法分为仅 critic、仅 actor，以及且 actor-critic DRL 方法，并总结它们的优点/弱点。
• 评估金融 DRL 中的数据质量、可观测性、探索-利用挑战，以及奖励设计。
• 确认从概念验证结果到实时在线交易可行性之间的差距。

提出的方法

• 按 RL 范式对所评审研究进行分类：仅 critic、仅 actor、以及 actor-critic。
• 总结所用核心算法（DQN/DRQN、GRU-DQN、GDQN、GDPG、PPO、A2C、DDPG）。
• 讨论奖励函数和风险度量（如夏普比率、Sortino 比率）。
• 比较各研究的评估设置、数据集和性能指标。
• 强调局限性，如动作空间小、缺乏交易成本建模，以及缺乏广泛的实时测试。
• 提供对实时部署和战胜市场性能的综合见解。

实验结果

研究问题

• RQ1 DRL 基于交易代理在现实约束下是否能在分钟到日线时间框架实现超越人类的表现？
• RQ2 critic-only、actor-only、和 actor-critic 的 DRL 方法在类似真实交易环境中的比较？
• RQ3 实时在线测试与部署 DRL 交易代理的主要障碍是什么？
• RQ4 奖励设计和风险衡量在塑造 DRL 交易性能中扮演何种角色？

主要发现

• DRL 在分钟到日线时间框架的交易中显示潜力，原型系统在选定市场取得显著表现。
• critic-only 方法（如 DQN）常用，但在连续动作和状态空间以及奖励敏感性方面面临挑战。
• actor-only 方法提供连续动作空间，但可能需要更多数据和更长的训练时间。
• actor-critic 方法（PPO、A2C、DDPG）对数据分布变化和学习过程中的不稳定性具有鲁棒性。
• 集成 DRL 策略（结合 PPO、A2C、DDPG）在道琼斯股票上的表现稳健，且比单模型在风险管理方面具优势。
• 在各研究中，很多是概念验证且实时测试有限，报告的盈利能力各异；实时在线部署和直接与人类交易者的比较仍然稀缺。