[논문 리뷰] FinRL-Meta: A Universe of Near-Real Market Environments for Data-Driven Deep Reinforcement Learning in Quantitative Finance

Xiaoyang Liu, Jingyang Rui외 6명|arXiv (Cornell University)|2021. 12. 13.

Financial Markets and Investment Strategies인용 수 4

한 줄 요약

FinRL-Meta는 데이터 오케스트레이션(DataOps)을 통한 자동화된 데이터 엔지니어링과 수천 개의 GPU 코어를 활용한 다중 처리 학습을 통해 수백 개의 근접 실시간 시장 환경을 제공함으로써 양적 금융 분야에서 딥 강화학습(DRL)을 위한 확장성 있고 데이터 기반의 프레임워크를 도입한다. 이는 주식 및 암호화폐 거래와 같은 다양한 거래 작업의 고정밀 시뮬레이션을 가능하게 하며, 백테스트에서 연간 수익률 32.1%와 샤프 비율 1.62를 달성하고 종이 거래에서 일관된 슈퍼리어 성능을 보여준다.

ABSTRACT

Deep reinforcement learning (DRL) has shown huge potentials in building financial market simulators recently. However, due to the highly complex and dynamic nature of real-world markets, raw historical financial data often involve large noise and may not reflect the future of markets, degrading the fidelity of DRL-based market simulators. Moreover, the accuracy of DRL-based market simulators heavily relies on numerous and diverse DRL agents, which increases demand for a universe of market environments and imposes a challenge on simulation speed. In this paper, we present a FinRL-Meta framework that builds a universe of market environments for data-driven financial reinforcement learning. First, FinRL-Meta separates financial data processing from the design pipeline of DRL-based strategy and provides open-source data engineering tools for financial big data. Second, FinRL-Meta provides hundreds of market environments for various trading tasks. Third, FinRL-Meta enables multiprocessing simulation and training by exploiting thousands of GPU cores. Our codes are available online at https://github.com/AI4Finance-Foundation/FinRL-Meta.

연구 동기 및 목표

• 노이즈가 많은 역사적 데이터와 제한된 에이전트 다양성으로 인해 DRL 기반 시장 시뮬레이터의 정밀도가 낮아지는 문제를 해결하기 위해.
• DataOps 패러다임을 활용해 다양한 금융 데이터 소스에서의 유연하고 자동화된 데이터 처리를 가능하게 하기 위해.
• 수천 개의 GPU 코어를 활용한 대규모 병렬 처리를 통해 DRL 학습을 가속화하기 위해.
• 다양한 양적 금융 작업을 위한 포괄적이고 오픈소스의 시장 환경 유니버스를 제공하기 위해.
• 알고리즘 거래를 위한 데이터 기반 DRL에서의 벤치마킹과 재현 가능성을 지원하기 위해.

제안 방법

• 데이터, 환경, 에이전트 레이어로 구성된 계층적 아키텍처를 통합하여 모듈화되고 확장 가능한 DRL 파이프라인 설계를 가능하게 한다.
• 다양한 금융 데이터 소스(예: Yahoo! Finance, CCXT, WRDS.TAQ)에서의 데이터 수집, 정제, 특징 공학을 자동화하기 위해 DataOps 패러다임을 적용한다.
• 고주기 거래, 포트폴리오 할당, 암호화폐 거래 등 다양한 작업을 위한 수백 개의 근접 실시간 DRL 환경을 생성한다.
• 다양한 시장 조건에서 정책 학습을 가속화하기 위해 수천 개의 GPU 코어를 활용한 다중 처리 학습을 구현한다.
• 상태, 행동, 보상, 전이 동역학을 포함한 마르코프 결정 과정(MDP) 수학적 공식을 사용해 거래 작업을 모델링한다.
• 에이전트 학습 및 평가를 위해 주요 DRL 라이브러리(예: ElegantRL, Stable-baselines3, RLlib)와의 엔드 투 엔드 통합을 지원한다.

실험 결과

연구 질문

• RQ1 DRL 기반 금융 시장 시뮬레이터의 정밀도를 향상시키기 위해 데이터 품질과 처리 유연성을 어떻게 향상시킬 수 있는가?
• RQ2 대규모이고 다양한 근접 실시간 시장 환경의 유니버스는 DRL 거래 에이전트의 강건성과 일반화 능력을 향상시킬 수 있는가?
• RQ3 수천 개의 GPU 코어를 활용한 다중 처리가 복잡한 금융 작업의 DRL 학습을 어느 정도 가속화할 수 있는가?
• RQ4 FinRL-Meta 환경에서 학습된 DRL 에이전트는 백테스트 및 실시간 종이 거래 시나리오에서 어떻게 성능을 발휘하는가?
• RQ5 이 프레임워크는 실제 금융 시장의 복잡성을 반영하는 다중 에이전트 시장 시뮬레이션을 지원할 수 있는가?

주요 결과

• 주식 거래 백테스트에서 Stable-baselines3 에이전트는 연간 수익률 32.106%와 샤프 비율 1.621을 기록하며 다우존스 산업평균지수(DJIA) 벤치마크를 초월했다.
• 동일한 에이전트는 종이 거래에서도 강력한 성능을 유지했으며, 연간 수익률 5.492%와 샤프 비율 0.447을 기록했다.
• 암호화폐 거래 백테스트에서는 ElegantRL 에이전트가 연간 수익률 360.823%와 샤프 비율 2.992를 기록하며 비트코인 구매 및 홀딩 전략을 크게 능가했다.
• 암호화폐 종이 거래에서는 에이전트가 연간 수익률 121.380%와 샤프 비율 1.608을 기록하여 실시간 조건에서의 강건성을 확인했다.
• 수천 개의 GPU 코어를 활용한 확장성 있고 고속의 학습을 성공적으로 구현하여 다양한 금융 작업에 걸쳐 DRL 파이프라인의 가속화를 달성했다.
• FinRL-Meta의 오픈소스 공개는 양적 금융을 위한 DRL 에이전트의 재현 가능성과 커뮤니티 기반 개발을 지원한다.