[论文解读] A Modularized and Scalable Multi-Agent Reinforcement Learning-based System for Financial Portfolio Management.

Zhenhan Huang, Fumihide Tanaka|arXiv (Cornell University)|Feb 6, 2021

Stock Market Forecasting Methods参考文献 13被引用 4

一句话总结

本文提出MSPM，一种模块化、可扩展的多智能体强化学习系统，用于金融投资组合管理，由异步更新的演化智能体模块（EAMs）和战略智能体模块（SAMs）组成，分别负责资产特定信号生成与投资组合再平衡。在8年美国股市数据中，MSPM优于基线模型，通过可扩展、可重用且信息丰富的架构，结合迁移学习实现对新股票的高效适应，展现出卓越的利润累积能力。

ABSTRACT

Financial Portfolio Management is one of the most applicable problems in Reinforcement Learning (RL) by its sequential decision-making nature. Existing RL-based approaches, while inspiring, often lack scalability, reusability, or profundity of intake information to accommodate the ever-changing capital markets. In this paper, we design and develop MSPM, a novel Multi-agent Reinforcement learning-based system with a modularized and scalable architecture for portfolio management. MSPM involves two asynchronously updated units: Evolving Agent Module (EAM) and Strategic Agent Module (SAM). A self-sustained EAM produces signal-comprised information for a specific asset using heterogeneous data inputs, and each EAM possesses its reusability to have connections to multiple SAMs. A SAM is responsible for the assets reallocation of a portfolio using profound information from the EAMs connected. With the elaborate architecture and the multi-step condensation of the volatile market information, MSPM aims to provide a customizable, stable, and dedicated solution to portfolio management that existing approaches do not. We also tackle data-shortage issue of newly-listed stocks by transfer learning, and validate the necessity of EAM. Experiments on 8-year U.S. stock markets data prove the effectiveness of MSPM in profits accumulation by its outperformance over existing benchmarks.

研究动机与目标

• 解决现有基于强化学习的投资组合管理系统的可扩展性和可重用性局限。
• 通过模块化架构实现深度异构数据整合到投资决策中。
• 通过解耦信号生成与战略配置，提供稳定且可定制的解决方案，以应对动态资本市场。
• 利用迁移学习缓解新上市股票的数据稀缺问题。
• 验证演化智能体模块（EAM）在提升投资组合表现方面的必要性与有效性。

提出的方法

• 设计一种模块化架构，包含两个异步更新的组件：演化智能体模块（EAMs）和战略智能体模块（SAMs）。
• 实现EAMs，利用异构数据输入生成资产特定信号，确保在多个SAMs间可重用。
• 使用SAMs基于连接的EAMs提供的汇总性高层次信息执行投资组合再平衡。
• 应用多步信息浓缩技术，降低市场波动对决策的影响。
• 在EAMs中集成迁移学习，以缓解新上市股票的数据稀缺问题。
• 采用可扩展的解耦设计，支持EAMs与SAMs的独立训练与部署。

实验结果

研究问题

• RQ1 与单体强化学习方法相比，模块化多智能体强化学习架构是否能提升金融投资组合管理的可扩展性与可重用性？
• RQ2 EAM-SAM解耦在动态市场中对性能稳定性与信息深度的提升程度如何？
• RQ3 在EAM框架内，迁移学习在缓解新上市股票数据稀缺问题方面效果如何？
• RQ4 所提出的系统是否在长期市场周期中优于现有基于强化学习的基线模型，在累积利润积累方面表现更优？
• RQ5 EAM模块对整体投资组合表现的贡献是什么？其引入是否必要？

主要发现

• 在8年美国股市数据中，MSPM在累积利润方面优于现有基线模型。
• 模块化设计使EAMs可被多个SAMs重用，显著提升系统的可扩展性与可维护性。
• EAMs与SAMs之间的异步更新机制提升了训练稳定性与决策鲁棒性。
• 迁移学习通过利用预训练的EAMs，有效减少了新上市股票的性能下降。
• 消融实验确认了EAMs的必要性，移除EAMs将导致性能显著下降。
• 对高波动市场信号的多步浓缩处理，有助于实现更稳定且信息更充分的投资组合配置。