[论文解读] Adversarial Deep Reinforcement Learning in Portfolio Management

Zhipeng Liang, Hao Chen+3 more|arXiv (Cornell University)|Aug 29, 2018

Stock Market Forecasting Methods被引用 57

一句话总结

本文在中国股票数据上比较了 DDPG、PPO 和 PG 用于组合管理，提出对抗性训练以提高训练效率与表现，并显示在对抗性增强下，策略梯度（PG）通常优于其他方法。

ABSTRACT

In this paper, we implement three state-of-art continuous reinforcement learning algorithms, Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization (PPO) and Policy Gradient (PG)in portfolio management. All of them are widely-used in game playing and robot control. What's more, PPO has appealing theoretical propeties which is hopefully potential in portfolio management. We present the performances of them under different settings, including different learning rates, objective functions, feature combinations, in order to provide insights for parameters tuning, features selection and data preparation. We also conduct intensive experiments in China Stock market and show that PG is more desirable in financial market than DDPG and PPO, although both of them are more advanced. What's more, we propose a so called Adversarial Training method and show that it can greatly improve the training efficiency and significantly promote average daily return and sharpe ratio in back test. Based on this new modification, our experiments results show that our agent based on Policy Gradient can outperform UCRP.

研究动机与目标

• 动机：在交易成本和有限时域下，推动将深度强化学习应用于组合管理。
• 系统评估三种连续强化学习算法（DDPG、PPO、PG），在不同超参数、数据预处理和特征集下。
• 提出对抗性训练以在金融环境中提高训练效率和风险敏感性。
• 探索数据归一化、网络结构和特征组合对策略性能的影响。

提出的方法

• 将组合管理建模为带交易成本的马尔可夫决策过程，并以对数财富为奖励。
• 实现并比较带神经网络函数近似的 DDPG、PPO 与 Policy Gradient。
• 通过向市场价格添加噪声并相应地调整策略梯度来引入对抗性训练。
• 使用 Identical Independent Evaluators (IIE) 网络架构，在具有共享参数的情况下处理多资产。
• 使用中国股票市场数据、每个投资组合五个资产，以及跨期的数据归一化进行实验。
• 评估学习率、特征组合以及风险调整目标的考量。

实验结果

研究问题

• RQ1 在考虑交易成本的情况下，哪一种连续强化学习算法（DDPG、PPO、PG）在中国股票组合中表现最佳？
• RQ2 超参数（学习率、网络深度）、特征选择和数据预处理如何影响这些算法的策略表现？
• RQ3 对抗性训练在回测中是否提升训练效率和财务表现（如日均收益和夏普比率）？
• RQ4 使用 Identical Independent Evaluators 架构和特征组合对可扩展性和学习稳定性的影响？
• RQ5 在现实市场摩擦下，这些强化学习方法是否能够超越传统基准？

主要发现

• 在分析的金融市场中，Policy Gradient (PG) 相较于 DDPG 和 PPO 更为可取。
• 对抗性训练显著提高训练效率，并在回测中提升日均收益和夏普比率。
• 特征选择很重要；在他们的实验中，将收盘价与最高价结合可获得更好的性能。
• 学习率影响 critic 损失和稳定性，actor 学习率影响训练动态和 critic 的泛化。
• 数据归一化与 IIE 网络结构支持跨多资产的可扩展学习。
• 在本研究设置下，带对抗性修改的 PG 可以超过像 UCRP 这样的某些基准。