[论文解读] A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem

Zhengyao Jiang, Dixing Xu+1 more|arXiv (Cornell University)|Jun 30, 2017

Blockchain Technology Applications and Security被引用 229

一句话总结

本文提出了一种无模型深度强化学习框架（EIIE）用于多资产组合管理，具备在线学习和显式奖励，并在使用 CNN、RNN 和 LSTM 实现的加密货币回测中显示出顶尖表现。

ABSTRACT

Financial portfolio management is the process of constant redistribution of a fund into different financial products. This paper presents a financial-model-free Reinforcement Learning framework to provide a deep machine learning solution to the portfolio management problem. The framework consists of the Ensemble of Identical Independent Evaluators (EIIE) topology, a Portfolio-Vector Memory (PVM), an Online Stochastic Batch Learning (OSBL) scheme, and a fully exploiting and explicit reward function. This framework is realized in three instants in this work with a Convolutional Neural Network (CNN), a basic Recurrent Neural Network (RNN), and a Long Short-Term Memory (LSTM). They are, along with a number of recently reviewed or published portfolio-selection strategies, examined in three back-test experiments with a trading period of 30 minutes in a cryptocurrency market. Cryptocurrencies are electronic and decentralized alternatives to government-issued money, with Bitcoin as the best-known example of a cryptocurrency. All three instances of the framework monopolize the top three positions in all experiments, outdistancing other compared trading algorithms. Although with a high commission rate of 0.25% in the backtests, the framework is able to achieve at least 4-fold returns in 50 days.

研究动机与目标

• 提供一个无模型 RL 解决方案以解决投资组合管理问题，避免价格预测。
• 将交易成本和历史投资组合信息纳入学习框架。
• 开发一个可扩展的架构（EIIE），能够处理多资产并在各市场进行在线学习。
• 在加密货币数据的回测中，将该框架与现有策略进行对比评估。

提出的方法

• 提出 Ensemble of Identical Independent Evaluators (EIIE) 拓扑，通过对资产评估的 softmax 产生投资组合权重。
• 引入 Portfolio-Vector Memory (PVM) 用于存储前一期权重以实现交易成本感知。
• 使用 Online Stochastic Batch Learning (OSBL) 在预交易和在线设置中训练 EIIE。
• 将明确的目标奖励定义为周期对数收益的平均，以引导梯度上升。
• 实验三种模型变体：CNN、基本的 RNN，以及 LSTM 作为 EIIE 的核心。
• 预选前 11 名高成交量的非现金资产（加现金）组成 12 资产组合，并通过输入张量 X_t 将收盘价、最高价和最低价包含在内来归一化输入。
• 通过用平滑价格变动填充 NAN 来处理缺失数据，避免资产身份泄露并保持泛化。

实验结果

研究问题

• RQ1 在多资产设置中，是否一个具有 EIIE 拓扑的无模型深度 RL 框架能够超越传统投资组合策略？
• RQ2 通过交易剩余因子 mu_t 引入交易成本如何影响学习与表现？
• RQ3 使用连续动作策略（通过对 evaluator 输出的 softmax）是否比在投资组合管理中离散动作更具优势？
• RQ4 当应用于高度波动、开放、连续的市场如加密货币时，该框架是否具有鲁棒性？

主要发现

• EIIEs 在所有三个回测实验中垄断前三名，超越其他策略。
• 在回测交易期为 30 分钟的情况下，尽管有 0.25% 的佣金，框架在 50 天内实现至少 4 倍的回报。
• 三种网络变体（CNN、基本 RNN 和 LSTM）都被评估且具有竞争力，集成框架提供了更优的性能。
• 框架在一个带有预选资产和明确交易成本建模的加密货币交易所 Poloniex 上进行评估，在提出的 RL 设置下显示出强盈利能力。
• 奖励函数是明确的，基于周期性对数收益的平均值，指导 EIIE 随时间优化财富。