[논문 리뷰] FinRL-Meta: Market Environments and Benchmarks for Data-Driven Financial Reinforcement Learning

Xiao-Yang Liu, Ziyi Xia외 7명|arXiv (Cornell University)|2022. 11. 06.

Stock Market Forecasting Methods인용 수 7

한 줄 요약

FinRL-Meta는 데이터운영(DataOps) 파이프라인 기반으로 구축된 오픈소스이자 커뮤니티 유지 보수 프레임워크로, 수백 개의 동적이고 게임 스타일의 시장 환경과 표준화된 벤치마크를 제공하여 데이터 기반 금융 강화학습을 위한 기반을 마련한다. 실시간 데이터 수신, 자동 환경 생성, 발표된 DRL 논문의 재현 가능한 벤치마킹, 클라우드 호스팅 커뮤니티 대회를 가능하게 하여 금융 RL 연구의 시뮬레이션-현실 격차를 크게 줄인다.

ABSTRACT

Finance is a particularly difficult playground for deep reinforcement learning. However, establishing high-quality market environments and benchmarks for financial reinforcement learning is challenging due to three major factors, namely, low signal-to-noise ratio of financial data, survivorship bias of historical data, and model overfitting in the backtesting stage. In this paper, we present an openly accessible FinRL-Meta library that has been actively maintained by the AI4Finance community. First, following a DataOps paradigm, we will provide hundreds of market environments through an automatic pipeline that collects dynamic datasets from real-world markets and processes them into gym-style market environments. Second, we reproduce popular papers as stepping stones for users to design new trading strategies. We also deploy the library on cloud platforms so that users can visualize their own results and assess the relative performance via community-wise competitions. Third, FinRL-Meta provides tens of Jupyter/Python demos organized into a curriculum and a documentation website to serve the rapidly growing community. FinRL-Meta is available at: https://github.com/AI4Finance-Foundation/FinRL-Meta

연구 동기 및 목표

• 고정밀도의 동적 시장 환경을 구축하여 금융 강화학습에서의 시뮬레이션-현실 격차를 해소한다.
• 자동화된 데이터운영 파이프라인을 통해 수동 데이터 처리를 줄이고 금융 DRL 연구의 데이터 품질을 향상시킨다.
• 주식, 외환, 암호화자산 거래 분야에서 인기 있는 DRL 논문을 재현하여 재현 가능한 기준 벤치마크를 확립한다.
• 클라우드 호스팅 대회와 시각화 도구를 통해 전 세계 커뮤니티의 성능 평가를 가능하게 한다.
• 커리큘럼 기반의 Jupyter/파이썬 디모와 포괄적인 문서 웹사이트를 제공하여 교육 및 산업 현장의 도입을 지원한다.

제안 방법

• 30개 이상의 실제 시장 데이터 소스에서부터 자동화된 데이터 수집, 정제, 특징 공학, 환경 생성까지를 처리하는 데이터운영 파이프라인을 구현한다.
• 원시 금융 데이터를 기존 DRL 프레임워크와 호환되는 표준화된 게임 스타일의 강화학습 환경으로 변환한다.
• 고주기 거래, 암호화자산, 포트폴리오 배분 분야의 핵심 DRL 논문들을 참조 기준 벤치마크로 재현한다.
• 클라우드 플랫폼(예: NVIDIA DGX-2 SuperPod)에 벤치마크를 호스팅하여 확장 가능한 학습과 실시간 성능 시각화를 가능하게 한다.
• 초보자들이 쉽게 접근할 수 있도록 Jupyter/파이썬 노트북 컬렉션과 문서 웹사이트를 제공한다.
• 향후 확장성을 고려해 연합학습을 통합하여 협업 학습 시나리오에서 데이터 및 전략 기밀을 보존한다.

실험 결과

연구 질문

• RQ1 확장 가능하고 자동화된 파이프라인이 금융 DRL 연구에서 데이터 품질 문제와 수작업 노력에 어떤 영향을 미칠 수 있는가?
• RQ2 표준화되고 재현 가능한 시장 환경은 DRL 거래 전략의 신뢰성과 비교 가능성에 어느 정도 기여하는가?
• RQ3 커뮤니티 기반의 클라우드 호스팅 대회가 실제와 유사한 조건에서 DRL 에이전트 성능을 효과적으로 평가하고 순위를 매기는 데 기여할 수 있는가?
• RQ4 실시간 데이터와 동적 환경의 통합이 금융 RL에서의 시뮬레이션-현실 격차를 어떻게 완화하는가?
• RQ5 연합학습은 협업 모델 학습을 가능하게 하면서도 금융 분야에서 데이터 및 전략 기밀을 어떻게 보존할 수 있는가?

주요 결과

• FinRL-Meta는 자동화된 데이터운영 파이프라인을 통해 300개 이상의 동적이고 게임 스타일의 시장 환경을 실제 금융 데이터에서 유래하여 제공한다.
• 프레임워크는 주식, 외환, 암호화자산 분야에서 10편 이상의 발표된 DRL 논문을 재현 가능한 조건에서 평가할 수 있도록 하여 일관된 평가 환경을 보장한다.
• 커뮤니티 전체가 참여하는 클라우드 호스팅 대회를 통해 사용자는 실시간으로 자신의 에이전트 성능을 다른 이들과 비교하고 시각화할 수 있다.
• 프로젝트는 컬럼비아 대학교와 뉴욕 대학의 학술 과정과 연계하여 연구자, 쿠펀트 트레이더, 소프트웨어 엔지니어를 포함해 10,000명 이상의 활성 커뮤니티 멤버를 유치했다.
• FinRL-Podracer 프로젝트는 NVIDIA DGX-2 플랫폼에서 1,000개 이상의 GPU로 확장되어 고성능 학습 능력을 입증했다.
• 프레임워크는 MIT 라이선스 하에 활발히 유지 보수 중이며, 광범위한 문서, 교육용 디모, 컬럼비아 대학교 및 뉴욕 대학의 학술 과정과의 통합을 포함하고 있다.