[论文解读] Automatic Financial Trading Agent for Low-risk Portfolio Management using Deep Reinforcement Learning

Wonsup Shin, Seok-Jun Bu+1 more|arXiv (Cornell University)|Sep 7, 2019

Financial Markets and Investment Strategies被引用 7

一句话总结

本文提出了一种基于深度强化学习的交易智能体，通过一种可调节贪婪度超参数的新颖目标策略，平衡利润最大化与风险控制，实现低风险投资组合管理。在加密货币数据上的评估显示，该智能体实现了1,800%的回报率，且风险低于现有方法，在高波动性和短训练周期下表现出稳健性能。

ABSTRACT

The autonomous trading agent is one of the most actively studied areas of artificial intelligence to solve the capital market portfolio management problem. The two primary goals of the portfolio management problem are maximizing profit and restrainting risk. However, most approaches to this problem solely take account of maximizing returns. Therefore, this paper proposes a deep reinforcement learning based trading agent that can manage the portfolio considering not only profit maximization but also risk restraint. We also propose a new target policy to allow the trading agent to learn to prefer low-risk actions. The new target policy can be reflected in the update by adjusting the greediness for the optimal action through the hyper parameter. The proposed trading agent verifies the performance through the data of the cryptocurrency market. The Cryptocurrency market is the best test-ground for testing our trading agents because of the huge amount of data accumulated every minute and the market volatility is extremely large. As a experimental result, during the test period, our agents achieved a return of 1800% and provided the least risky investment strategy among the existing methods. And, another experiment shows that the agent can maintain robust generalized performance even if market volatility is large or training period is short.

研究动机与目标

• 解决现有投资组合管理方法中过度侧重收益而忽视风险控制的问题。
• 开发一种自主交易智能体，能够在金融市场中同时最大化收益并最小化风险。
• 提出一种新型目标策略，使智能体能够通过可调的贪婪度超参数学习低风险交易行为。
• 在高波动性的加密货币数据上验证智能体的性能，该数据集是市场动态的丰富测试平台。
• 确保在短训练周期和高市场波动性下的泛化鲁棒性。

提出的方法

• 该智能体使用深度强化学习，从历史价格数据中学习最优投资组合配置策略。
• 引入一种新颖的目标策略，通过控制贪婪度的超参数，基于风险偏好调节动作选择。
• 该方法采用深度Q网络（DQN）架构，以近似连续金融时间序列中的动作价值函数。
• 环境设计用于模拟投资组合再平衡，奖励包括交易成本和风险调整后的收益。
• 训练过程结合经验回放和目标网络技术，以稳定学习过程。
• 奖励函数同时整合累积利润与风险控制，通过方差或下行偏差对风险进行惩罚。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在投资组合管理中有效平衡利润最大化与风险最小化？
• RQ2 与标准DQN方法相比，所提出的具有可调贪婪度的目标策略在风险控制方面有何改进？
• RQ3 在高市场波动性或有限训练数据条件下，该智能体是否仍能保持高性能？
• RQ4 在加密货币市场中，该智能体的风险调整后收益与现有方法相比如何？
• RQ5 该智能体在不同市场条件和训练时长下，其泛化能力在多大程度上得以体现？

主要发现

• 所提出的智能体在测试期内实现了1,800%的累计回报率，显著优于现有方法的盈利能力。
• 该智能体在所有对比方法中表现出最低的风险敞口，证实了其有效风险控制能力。
• 即使在高市场波动性下，该智能体仍保持稳定且一致的性能，显示出良好的鲁棒性。
• 尽管训练周期较短，该智能体仍表现出良好的泛化能力，显示出对有限数据的强大适应性。
• 将新型目标策略与可调贪婪度超参数相结合，增强了风险感知学习，提升了最终性能。
• 结果证实，通过深度强化学习将风险控制与收益最大化相结合，在真实金融数据中是可行且有效的。