[论文解读] Model-Free Reinforcement Learning for Financial Portfolios: A Brief Survey

Yoshiharu Sato|arXiv (Cornell University)|Apr 9, 2019

Stock Market Forecasting MethodsDecision Sciences被引用 18

一句话总结

本文提出将无模型强化学习（RL）作为金融投资组合优化的通用框架，通过将投资组合再平衡建模为离散时间马尔可夫决策过程（MDP）。研究表明，在特定条件下，凯利准则（Kelly Criterion）与风险平价（Risk Parity）均会简化为均值-方差优化，从而使得RL能够在不建模资产动态的前提下学习最优资产权重。主要贡献在于识别了在实际部署无模型RL于投资组合管理中仍待解决的关键挑战。

ABSTRACT

Financial portfolio management is one of the problems that are most frequently encountered in the investment industry. Nevertheless, it is not widely recognized that both Kelly Criterion and Risk Parity collapse into Mean Variance under some conditions, which implies that a universal solution to the portfolio optimization problem could potentially exist. In fact, the process of sequential computation of optimal component weights that maximize the portfolio's expected return subject to a certain risk budget can be reformulated as a discrete-time Markov Decision Process (MDP) and hence as a stochastic optimal control, where the system being controlled is a portfolio consisting of multiple investment components, and the control is its component weights. Consequently, the problem could be solved using model-free Reinforcement Learning (RL) without knowing specific component dynamics. By examining existing methods of both value-based and policy-based model-free RL for the portfolio optimization problem, we identify some of the key unresolved questions and difficulties facing today's portfolio managers of applying model-free RL to their investment portfolios.

研究动机与目标

• 将投资组合优化重新表述为马尔可夫决策过程（MDP），以实现无模型强化学习。
• 研究在特定条件下，如凯利准则和风险平价等成熟投资组合策略如何与均值-方差优化产生关联。
• 识别在将无模型强化学习应用于现实世界投资组合管理时面临的关键未解挑战。
• 调查基于价值和基于策略的无模型强化学习方法在投资组合优化中的应用。
• 为开发无需显式掌握资产动态知识的通用、自适应投资组合策略提供基础。

提出的方法

• 将投资组合再平衡建模为离散时间MDP，其中状态为市场状况，动作为资产权重，奖励为投资组合收益。
• 将优化各资产权重以在风险预算下最大化预期收益的问题重新表述为随机最优控制问题。
• 应用基于价值的强化学习方法（如Q-learning变体）以估计投资组合权重的最优动作价值函数。
• 应用基于策略的强化学习方法（如REINFORCE、演员-评论家）以直接优化权重分配策略。
• 使用历史市场数据训练强化学习智能体，而无需显式建模资产收益动态。
• 采用标准投资组合指标（如夏普比率、累计收益及风险调整后表现）评估性能。

实验结果

研究问题

• RQ1 在何种条件下，凯利准则与风险平价策略会简化为均值-方差优化？
• RQ2 无模型强化学习是否能够在缺乏资产动态先验知识的前提下有效学习最优投资组合权重？
• RQ3 在实际部署无模型强化学习于现实世界投资组合管理时，面临哪些关键实践挑战？
• RQ4 在投资组合优化中，基于价值与基于策略的强化学习方法在性能与稳定性方面如何比较？
• RQ5 当前强化学习方法在处理交易成本、市场冲击及非平稳市场方面存在哪些局限性？

主要发现

• 在特定假设下，凯利准则与风险平价策略均会退化为均值-方差优化，表明其具有统一的理论基础。
• 通过将投资组合优化建模为MDP，无模型强化学习可被应用于该问题，从而实现无需建模资产动态的学习。
• 基于价值与基于策略的强化学习方法均显示出潜力，但基于策略的方法在投资组合场景中通常表现出更好的样本效率与稳定性。
• 尽管理论优势明显，实际部署仍面临超参数敏感性、奖励函数设计以及对市场状态转换鲁棒性不足等挑战。
• 泛化能力不足与训练过程中的高方差仍是无模型强化学习在投资组合管理中实际应用的关键未解问题。
• 目前尚无单一强化学习方法在所有市场状态下持续优于传统基准，表明需要采用自适应或混合方法。