[논문 리뷰] FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance

Xiao-Yang Liu, Hongyang Yang외 5명|arXiv (Cornell University)|2020. 11. 19.

Stock Market Forecasting Methods인용 수 8

한 줄 요약

FinRL은 정량 금융 분야에서 자동 주식 거래를 간편화하기 위해 설계된 오픈소스 딥 레이닝 강화학습 라이브러리로, 사전 설정된 환경, 최적화된 DRL 알고리즘(PPO, TD3 등), 단일 주식, 다중 주식, 포트폴리오 거래를 위한 재현 가능한 튜토리얼을 제공한다. 거래 수수료 및 풍요 기반 리스크 제어와 같은 마켓 프리션을 통합함으로써 단일 주식 거래에서 최대 1.49까지의 샤프 지수를 달성하는 등 높은 리스크 조정 수익률을 달성한다.

ABSTRACT

As deep reinforcement learning (DRL) has been recognized as an effective approach in quantitative finance, getting hands-on experiences is attractive to beginners. However, to train a practical DRL trading agent that decides where to trade, at what price, and what quantity involves error-prone and arduous development and debugging. In this paper, we introduce a DRL library FinRL that facilitates beginners to expose themselves to quantitative finance and to develop their own stock trading strategies. Along with easily-reproducible tutorials, FinRL library allows users to streamline their own developments and to compare with existing schemes easily. Within FinRL, virtual environments are configured with stock market datasets, trading agents are trained with neural networks, and extensive backtesting is analyzed via trading performance. Moreover, it incorporates important trading constraints such as transaction cost, market liquidity and the investor's degree of risk-aversion. FinRL is featured with completeness, hands-on tutorial and reproducibility that favors beginners: (i) at multiple levels of time granularity, FinRL simulates trading environments across various stock markets, including NASDAQ-100, DJIA, S&P 500, HSI, SSE 50, and CSI 300; (ii) organized in a layered architecture with modular structure, FinRL provides fine-tuned state-of-the-art DRL algorithms (DQN, DDPG, PPO, SAC, A2C, TD3, etc.), commonly-used reward functions and standard evaluation baselines to alleviate the debugging workloads and promote the reproducibility, and (iii) being highly extendable, FinRL reserves a complete set of user-import interfaces. Furthermore, we incorporated three application demonstrations, namely single stock trading, multiple stock trading, and portfolio allocation. The FinRL library will be available on Github at link https://github.com/AI4Finance-LLC/FinRL-Library.

연구 동기 및 목표

• 정량 금융 분야의 초보자들이 주식 거래를 위한 DRL 프레임워크를 쉽게 접근할 수 있도록 완전하고 초보자 友好的인 DRL 프레임워크를 제공함으로써 진입 장벽을 낮추는 것.
• DRL 에이전트를 거래에 맞게 훈련시키는 데 소요되는 번거로움과 실수의 가능성을 줄이기 위해 모듈식이고 재사용 가능한 컴포넌트를 제공함으로써 개발 과정의 복잡성을 완화하는 것.
• 표준화된 환경, 알고리즘, 평가 지표를 통해 DRL 기반 거래 전략의 재현성과 투명성을 확보하는 것.
• 거래 수수료, 시장 유동성, 리스크 회피성과 같은 실질적인 시장 제약 조건을 풍요 인덱싱을 통해 지원함으로써 실제 거래 환경을 반영하는 것.
• 단일 주식, 다중 주식, 포트폴리오 자산 배분과 같은 다양한 거래 시나리오에서 DRL의 효과성을 재현 가능한 종단 간 튜토리얼을 통해 입증하는 것.

제안 방법

• FinRL은 환경 계층, 에이전트 계층, 보상 계층의 3계층 아키텍처를 구현한다. 환경 계층은 이전 데이터를 기반으로 실제 주식 시장(예: S&P 500, NASDAQ-100)을 시뮬레이션하며, 가격, 거래량, 기술적 지표 등의 기능을 포함한다.
• 에이전트 계층은 PPO, TD3, DDPG, SAC, A2C, DQN 등 최신 DRL 알고리즘을 통합하며, 금융 거래 작업에 최적화된 하이퍼파rameter를 설정한다.
• 보상 함수는 표준화되어 있으며, 리스크 조정 수익률(예: 샤프 지수 또는 누적 수익률)을 반영하도록 설계되어 정책 학습을 이끌어낸다.
• 거래 수수료 및 리스크 회피성과 같은 마켓 프리션은 재무 풍요 지수를 통해 모델링되며, 이는 $\text{turbulence}_{t} = (\mathbf{y}_t - \boldsymbol{\mu})\boldsymbol{\Sigma}^{-1}(\mathbf{y}_t - \boldsymbol{\mu})^\top$ 로 정의되며, 변동성이 급격히 증가할 경우 리스크 완화 조치를 유도한다.
• 표준 벤치마크를 사용한 자동화된 백테스팅 및 평가를 지원하여 다양한 전략과 알고리즘 간 비교가 가능하다.
• Jupyter 노트북 튜토리얼을 통해 단일 주식, 다중 주식, 포트폴리오 자산 배분 작업의 환경 설정, 에이전트 훈련, 성능 분석까지 종단 간 재현 가능한 프로세스를 안내한다.

실험 결과

연구 질문

• RQ1 통합적이고 초보자 友好的인 DRL 라이브러리가 정량 금융 분야에서 자동 주식 거래 전략을 개발하는 데 소요되는 복잡성과 개발 시간을 크게 줄일 수 있는가?
• RQ2 거래 수수료와 같은 현실적인 마켓 프리션을 통합한 경우, PPO 및 TD3와 같은 표준 DRL 알고리즘이 다양한 주식 인덱스에서 실질적인 백테스팅에서 어떻게 성능을 발휘하는가?
• RQ3 풍요 기반 동작 조절과 같은 리스크 회피 메커니즘이 2020년 코로나19 충격과 같은 시장 급락 기간 동안 시스템의 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 FinRL 라이브러리가 표준화된 컴포넌트를 사용해 단일 주식, 다중 자산, 포트폴리오 자산 배분과 같은 다양한 거래 시나리오에서 재현 가능하고 높은 성능을 내는 거래 전략을 달성할 수 있는가?
• RQ5 거래 수수료 및 유동성 제약 조건을 통합했을 때, 마켓 프리션을 고려한 DRL 기반 거래 에이전트의 성능과 안정성은 마켓 프리션 없이 구현된 벤치마크 대비 어떻게 다를까?

주요 결과

• PPO를 사용한 단일 주식 거래에서 FinRL 에이전트는 SPY(S&P 500 ETF)에 대해 샤프 지수 1.49를 기록했으며, 이는 S&P 500 지수(샤프 지수 0.74)를 초월한 성과이다.
• DJIA 30 종목에 대한 다중 주식 거래에서 TD3 에이전트는 연간 수익률 21.40%와 샤프 지수 1.38을 기록했으며, 이는 DJIA 지수(10.61%)와 최소 분산 포트폴리오(8.38%)를 모두 초월했다.
• 다중 자산 거래에서 DDPG 에이전트는 초기 자본 100만 달러에서 최종 포트폴리오 가치 1,381,120달러를 달성했으며, 연간 수익률 17.61%와 샤프 지수 1.03을 기록했다.
• FinRL 라이브러리는 사전 구축된 모듈식 컴포넌트와 Jupyter 노트북 튜토리얼을 제공함으로써 개발 오버헤드를 크게 감소시켰으며, DRL 거래 전략의 종단 간 재현 가능성을 실현했다.
• 다양한 사용 사례에 대한 성능 평가 결과, 거래 수수료 및 풍요 제어와 같은 마켓 프리션을 통합한 DRL 에이전트는 변동성이 높은 시장 조건에서도 더 강건하고 현실적인 행동을 보였다.
• 라이브러리의 모듈식 설계와 표준화된 평가 프레임워크 덕분에 알고리즘 간 직접 비교가 가능했으며, TD3와 PPO는 리스크 조정 수익률 측면에서 일관되게 베이스라인 전략을 초월했다.