[论文解读] Deep Reinforcement Learning for Long-Short Portfolio Optimization

Gang Huang, Xiaohua Zhou+1 more|arXiv (Cornell University)|Dec 26, 2020

Financial Markets and Investment Strategies参考文献 22被引用 8

一句话总结

本文提出了一种深度强化学习（DRL）框架，用于中国A股市场的多空投资组合优化，整合了动态卖空机制和均值夏普比率奖励。与传统的多头策略相比，该DRL模型在回测中实现了更低的最大回撤和更优的风险调整收益，表现出一致的超额收益。

ABSTRACT

With the rapid development of artificial intelligence, data-driven methods effectively overcome limitations in traditional portfolio optimization. Conventional models primarily employ long-only mechanisms, excluding highly correlated assets to diversify risk. However, incorporating short-selling enables low-risk arbitrage through hedging correlated assets. This paper constructs a Deep Reinforcement Learning (DRL) portfolio management framework with short-selling mechanisms conforming to actual trading rules, exploring strategies for excess returns in China's A-share market. Key innovations include: (1) Development of a comprehensive short-selling mechanism in continuous trading that accounts for dynamic evolution of transactions across time periods; (2) Design of a long-short optimization framework integrating deep neural networks for processing multi-dimensional financial time series with mean Sharpe ratio reward functions. Empirical results show the DRL model with short-selling demonstrates significant optimization capabilities, achieving consistent positive returns during backtesting periods. Compared to traditional approaches, this model delivers superior risk-adjusted returns while reducing maximum drawdown. From an allocation perspective, the DRL model establishes a robust investment style, enhancing defensive capabilities through strategic avoidance of underperforming assets and balanced capital allocation. This research contributes to portfolio theory while providing novel methodologies for quantitative investment practice.

研究动机与目标

• 为解决传统多头投资组合模型的局限性，通过引入卖空机制以增强风险分散化和套利机会。
• 开发一种数据驱动的、基于强化学习的框架，能够动态适应连续交易环境中的市场变化。
• 通过优化均值夏普比率，实现对多头和空头头寸的战略配置，从而提升风险调整后的业绩表现。
• 通过在中国A股市场真实数据上的回测，验证该框架的稳健性和防御能力。

提出的方法

• 该框架采用深度Q网络（DQN）或类似DRL架构，处理包括资产价格、波动率和相关性在内的多维金融时间序列数据。
• 实现了一种自定义的卖空机制，允许基于规则的动态卖空头寸，同时遵守实际交易约束和交易成本。
• 奖励函数设计为随时间变化的均值夏普比率，以鼓励持续稳定的风险调整超额收益。
• 通过强化学习端到端训练模型，智能体通过与模拟市场环境的试错交互学习最优投资组合权重。
• 框架中整合了交易成本建模和头寸约束，以反映真实的交易条件。
• 采用连续动作空间，允许在多头和空头头寸之间灵活配置，支持对相关资产的动态对冲。

实验结果

研究问题

• RQ1 深度强化学习模型能否在包含卖空和交易成本等实际交易约束下，有效管理多空投资组合？
• RQ2 与传统的多头投资组合优化相比，动态卖空机制在多大程度上提升了风险调整后的收益？
• RQ3 均值夏普比率奖励函数在多大程度上增强了投资组合在不同市场周期中的稳定性和表现一致性？
• RQ4 在基于中国A股数据的回测中，该DRL框架相较于传统模型在最大回撤和换手率方面表现如何？

主要发现

• 采用卖空机制的DRL模型在所有回测周期中均实现持续正收益，优于传统多头策略。
• 与传统方法相比，该模型表现出显著更低的最大回撤，表明其在下行风险保护方面更具优势。
• 对表现不佳资产的战略规避和均衡的资本配置，促成了该模型稳健的防御型投资风格。
• 框架展现出更优的风险调整表现，表现为更高的夏普比率和更优的换手效率。
• 动态卖空机制的整合实现了对相关资产的有效对冲，释放了低风险套利机会。
• 实证结果证实了该模型适应市场状态变化的能力，在不同波动率条件下均能保持稳定表现。