[论文解读] Deep Reinforcement Learning in Portfolio Management

Zhipeng Liang, Kangkang Jiang+3 more|arXiv (Cornell University)|Aug 29, 2018

Advanced Bandit Algorithms Research参考文献 17被引用 23

一句话总结

本文将深度确定性策略梯度（DDPG）和近端策略优化（PPO）——两种先进的连续强化学习算法——应用于投资组合管理。它在不同超参数、目标函数、市场环境和特征组合下评估了这些算法的性能，为金融强化学习应用中的超参数调优、特征选择和数据准备提供了可操作的见解。

ABSTRACT

In this paper, we implement two state-of-art continuous reinforcement learning algorithms, Deep Deterministic Policy Gradient (DDPG) and Proximal Policy Optimization (PPO) in portfolio management. Both of them are widely-used in game playing and robot control. What's more, PPO has appealing theoretical propeties which is hopefully potential in portfolio management. We present the performances of them under different settings, including different learning rate, objective function, markets, feature combinations, in order to provide insights for parameter tuning, features selection and data preparation.

研究动机与目标

• 探究最先进的连续强化学习算法在投资组合管理中的适用性。
• 比较DDPG和PPO在不同超参数设置、目标函数和市场条件下的性能表现。
• 为基于强化学习的投资组合策略提供超参数调优、特征选择和数据准备方面的实用指导。
• 评估PPO在金融决策场景中的理论与实证优势。

提出的方法

• 采用深度确定性策略梯度（DDPG）这一连续控制算法，实现投资组合配置的端到端策略学习。
• 应用近端策略优化（PPO），一种稳定且样本高效的策略梯度方法，以优化投资组合决策。
• 使用连续动作空间表示资产权重分配，实现平滑且真实的组合再平衡。
• 实施多种目标函数和特征组合，以评估模型的鲁棒性与适应能力。
• 在不同金融市场训练和评估模型，以评估其泛化能力及对市场状态的敏感性。
• 对学习率、网络架构和奖励塑造等超参数进行调优，以分析其对性能的影响。

实验结果

研究问题

• RQ1 在投资组合管理任务中，DDPG和PPO在不同学习率下的表现如何？
• RQ2 不同目标函数对强化学习投资组合策略的稳定性与收益有何影响？
• RQ3 不同特征组合如何影响DDPG和PPO在投资组合优化中的表现？
• RQ4 这些模型在不同金融市场和市场状态下的泛化能力如何？
• RQ5 在投资组合管理中，DDPG与PPO哪个算法展现出更优的性能与稳定性？

主要发现

• 与DDPG相比，PPO在不同超参数设置下展现出更稳定的训练过程和更优的性能一致性。
• 目标函数的选择显著影响投资组合策略的风险调整后收益。
• 通过捕捉趋势与波动性动态的特定特征组合，可实现最优性能。
• 学习率调优对收敛速度和最终策略质量具有显著影响。
• 模型在不同市场间具有泛化能力，但其表现受市场状态和数据质量的影响。
• PPO的理论稳定性特性转化为实际优势，降低了训练不稳定性并提升了策略收敛性。