[论文解读] FinRL-Meta: A Universe of Near-Real Market Environments for Data-Driven Deep Reinforcement Learning in Quantitative Finance

Xiaoyang Liu, Jingyang Rui+6 more|arXiv (Cornell University)|Dec 13, 2021

Financial Markets and Investment Strategies被引用 4

一句话总结

FinRL-Meta 通过提供数百个近实时市场环境、通过 DataOps 实现的自动化数据工程以及跨数千个 GPU 核心的并行训练，引入了一个可扩展的、数据驱动的深度强化学习（DRL）框架，用于量化金融领域。该框架能够实现多样化交易任务（如股票和加密货币交易）的高保真度仿真，实现在回测中取得 32.1% 的年化收益率和 1.62 的夏普比率，并在模拟交易中持续表现出色。

ABSTRACT

Deep reinforcement learning (DRL) has shown huge potentials in building financial market simulators recently. However, due to the highly complex and dynamic nature of real-world markets, raw historical financial data often involve large noise and may not reflect the future of markets, degrading the fidelity of DRL-based market simulators. Moreover, the accuracy of DRL-based market simulators heavily relies on numerous and diverse DRL agents, which increases demand for a universe of market environments and imposes a challenge on simulation speed. In this paper, we present a FinRL-Meta framework that builds a universe of market environments for data-driven financial reinforcement learning. First, FinRL-Meta separates financial data processing from the design pipeline of DRL-based strategy and provides open-source data engineering tools for financial big data. Second, FinRL-Meta provides hundreds of market environments for various trading tasks. Third, FinRL-Meta enables multiprocessing simulation and training by exploiting thousands of GPU cores. Our codes are available online at https://github.com/AI4Finance-Foundation/FinRL-Meta.

研究动机与目标

• 解决由于历史数据噪声和代理多样性有限导致的基于 DRL 的市场仿真器保真度低下的问题。
• 通过 DataOps 范式实现对多样化金融数据源的敏捷、自动化数据处理。
• 通过在数千个 GPU 核心上大规模并行化，加速 DRL 训练。
• 为多样化量化金融任务提供一个全面的、开源的市场环境集合。
• 支持在数据驱动的 DRL 算法交易中进行基准测试和可复现性研究。

提出的方法

• 采用分层架构（包含数据层、环境层和代理层），支持模块化和可扩展的 DRL 流水线设计。
• 应用 DataOps 范式，自动化处理来自多个金融数据源（如 Yahoo! Finance、CCXT、WRDS.TAQ）的数据摄入、清洗和特征工程。
• 为高频率交易、投资组合配置和加密货币交易等任务生成数百个近实时的 DRL 环境。
• 利用数千个 GPU 核心的并行处理技术进行训练，加速在多样化市场条件下的策略学习。
• 采用马尔可夫决策过程（MDP）形式化建模，以描述包含状态、动作、奖励和转移动态的交易任务。
• 支持与主流 DRL 库（如 ElegantRL、Stable-baselines3、RLlib）的端到端集成，用于代理训练与评估。

实验结果

研究问题

• RQ1 如何通过提升数据质量和处理敏捷性来增强基于 DRL 的金融市场仿真器的保真度？
• RQ2 大规模多样化、近实时的市场环境集合能否提升 DRL 交易代理的鲁棒性和泛化能力？
• RQ3 在数千个 GPU 核心上进行并行处理，能在多大程度上加速复杂金融任务的 DRL 训练？
• RQ4 在 FinRL-Meta 环境中训练的 DRL 代理在回测和实时模拟交易场景中的表现如何？
• RQ5 该框架能否支持反映真实金融市场复杂性的多代理市场仿真？

主要发现

• 在股票交易回测中，Stable-baselines3 代理实现了 32.106% 的年化收益率和 1.621 的夏普比率，优于道琼斯工业平均指数基准。
• 同一代理在模拟交易中也保持了强劲表现，年化收益率为 5.492%，夏普比率为 0.447。
• 在加密货币交易回测中，ElegantRL 代理实现了 360.823% 的年化收益率和 2.992 的夏普比率，显著优于比特币买入并持有基准。
• 在加密货币模拟交易中，该代理实现了 121.380% 的年化收益率和 1.608 的夏普比率，证实其在实时条件下的鲁棒性。
• 该框架成功实现了基于数千个 GPU 核心的可扩展、高速训练，显著加速了多样化金融任务中的 DRL 流水线。
• FinRL-Meta 的开源发布支持了可复现性，并推动了量化金融领域 DRL 代理的社区协作开发。