[논문 리뷰] FinRL-Podracer: High Performance and Scalable Deep Reinforcement Learning for Quantitative Finance

Zechu Li, Xiaoyang Liu외 4명|RePEc: Research Papers in Economics|2021. 11. 07.

Stock Market Forecasting Methods인용 수 6

한 줄 요약

FinRL-Podracer는 GPU 클라우드에서 RLOps(지속적 훈련, 통합, 배포)를 통해 DRL 기반 트레이딩 전략 개발을 가속화하는 고성능, 확장 가능한 딥 강화학습(DRL) 프레임워크이다. 이 프레임워크는 앙상블 학습과 다중 수준 GPU 매핑을 활용한 세대별 진화 메커니즘을 적용하여, NASDAQ-100 분단위 데이터 기준으로 RLlib, Stable Baseline 3, FinRL 대비 훈련 속도 3×–7× 빠르고 연간 수익률 12%–35% 높게 달성한다.

ABSTRACT

Machine learning techniques are playing more and more important roles in finance market investment. However, finance quantitative modeling with conventional supervised learning approaches has a number of limitations. The development of deep reinforcement learning techniques is partially addressing these issues. Unfortunately, the steep learning curve and the difficulty in quick modeling and agile development are impeding finance researchers from using deep reinforcement learning in quantitative trading. In this paper, we propose an RLOps in finance paradigm and present a FinRL-Podracer framework to accelerate the development pipeline of deep reinforcement learning (DRL)-driven trading strategy and to improve both trading performance and training efficiency. FinRL-Podracer is a cloud solution that features high performance and high scalability and promises continuous training, continuous integration, and continuous delivery of DRL-driven trading strategies, facilitating a rapid transformation from algorithmic innovations into a profitable trading strategy. First, we propose a generational evolution mechanism with an ensemble strategy to improve the trading performance of a DRL agent, and schedule the training of a DRL algorithm onto a GPU cloud via multi-level mapping. Then, we carry out the training of DRL components with high-performance optimizations on GPUs. Finally, we evaluate the FinRL-Podracer framework for a stock trend prediction task on an NVIDIA DGX SuperPOD cloud. FinRL-Podracer outperforms three popular DRL libraries Ray RLlib, Stable Baseline 3 and FinRL, i.e., 12% \sim 35% improvements in annual return, 0.1 \sim 0.6 improvements in Sharpe ratio and 3 times \sim 7 times speed-up in training time. We show the high scalability by training a trading agent in 10 minutes with $80$ A100 GPUs, on NASDAQ-100 constituent stocks with minute-level data over 10 years.

연구 동기 및 목표

• 양적 금융 분야에서 DRL 도입을 저해하는 급격한 학습 곡선과 낮은 훈련 효율성을 해결하기 위해.
• 확장 가능한 클라우드 환경에서 DRL 기반 트레이딩 전략에 대한 지속적 훈련, 통합, 배포(RLOps)를 가능하게 하기 위해.
• 세대별 진화와 GPU 최적화된 분산 훈련을 통해 트레이딩 성능과 훈련 속도를 향상시키기 위해.
• GPU 클라우드 인프라를 활용해 대규모 금융 데이터에서의 높은 확장성과 성능을 입증하기 위해.

제안 방법

• 모델링, 신호 생성, 포트폴리오 최적화, 실행을 하나의 DRL 에이전트로 통합하는 금융 분야의 RLOps 패러다임을 제안한다.
• 상위 성능을 보인 모델을 세대 간에 선택함으로써 에이전트 성능을 반복적으로 향상시키는 세대별 진화 메커니즘과 앙상블 전략을 적용한다.
• GPU 클라우드 전역에서 DRL 훈련을 스케줄링하기 위해 다중 수준 GPU 매핑을 사용하여 효율적인 병렬 처리와 하드웨어 인식 최적화를 가능하게 한다.
• 병렬 처리 캡슐화, GPU 가속, 스토리지 최적화를 포함한 저수준 GPU 최적화를 적용하여 고성능 훈련을 구현한다.
• 통신 오버헤드를 줄이고 확장성을 향상시키기 위해 비동기 병렬 처리를 활용한 토너먼트 기반 앙상블 훈련 방법을 구현한다.
• 10년 분량의 NASDAQ-100 분단위 데이터를 대상으로 대규모 훈련을 수행하기 위해 NVIDIA DGX SuperPOD 클라우드에 프레임워크를 구축한다.

Figure 1. Software stack for an algorithmic trading process: conventional approach vs. RLOps in finance.

실험 결과

연구 질문

• RQ1 확장 가능하고 고성능인 DRL 프레임워크는 양적 금융 분야에서 훈련 시간을 크게 단축시키면서도 트레이딩 성능을 향상시킬 수 있는가?
• RQ2 앙성 학습을 통한 세대별 진화 메커니즘이 단일 에이전트 훈련에 비해 DRL 에이전트 성능을 어떻게 향상시키는가?
• RQ3 GPU 클라우드 인프라는 고빈도 금융 데이터에 대한 DRL 훈련을 얼마나 가속화할 수 있는가?
• RQ4 RLlib, Stable Baseline 3, FinRL과 같은 기존의 주요 DRL 라이브러리와 비교해 FinRL-Podracer의 성능 및 효율성은 어떠한가?
• RQ5 대규모 병렬 시뮬레이션과 분산 훈련은 DRL 기반 트레이딩에서 탐색 능력과 시장 역학 이해 수준을 새롭게 끌어올릴 수 있는가?

주요 결과

• FinRL-Podracer는 NASDAQ-100 분단위 데이터 기준으로 RLlib, Stable Baseline 3, FinRL 대비 연간 수익률 12%–35% 높게 달성했다.
• 기본 DRL 라이브러리 대비 샤프 레이션을 0.1–0.6 단위 향상시켰다.
• RLlib 대비 훈련 시간을 3×에서 7× 단축시켰으며, 80개의 A100 GPU를 사용해 800초 만에 누적 수익률 4.0을 달성했다.
• 80개의 A100 GPU를 사용해 10년 분량의 NASDAQ-100 분단위 데이터를 10분 만에 훈련 완료하여 높은 확장성을 입증했다.
• 세대별 진화 메커니즘이 개별 훈련 런에 비해 뚜렷한 우월성을 보였으며, 첫 번째 세대에서 두드러진 진화 곡선(두꺼운 초록색 선)이 10개의 독립 에이전트 성능을 크게 초월했다.
• 프레임워크는 GPU 수가 증가함에 따라 성능 향상이 지속적으로 이루어지는 강력한 확장성을 보였으며, RLlib는 더 많은 GPU를 사용해도 최소한의 속도 향상만을 보였다.

Figure 2. Overview of FinRL-Podracer that has three layers: trading task layer, evolution layer and training layer.