[논문 리뷰] Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review

Tidor-Vlad Pricope|arXiv (Cornell University)|2021. 05. 31.

Stock Market Forecasting Methods인용 수 26

한 줄 요약

이 논문은 자동화된 저주파 정량 주식 거래를 위한 DRL 접근법을 조사하며, 실시간 테스트 및 수익성 검증의 중요한 간극과 함께 유망한 결과를 강조한다.

ABSTRACT

Algorithmic stock trading has become a staple in today's financial market, the majority of trades being now fully automated. Deep Reinforcement Learning (DRL) agents proved to be to a force to be reckon with in many complex games like Chess and Go. We can look at the stock market historical price series and movements as a complex imperfect information environment in which we try to maximize return - profit and minimize risk. This paper reviews the progress made so far with deep reinforcement learning in the subdomain of AI in finance, more precisely, automated low-frequency quantitative stock trading. Many of the reviewed studies had only proof-of-concept ideals with experiments conducted in unrealistic settings and no real-time trading applications. For the majority of the works, despite all showing statistically significant improvements in performance compared to established baseline strategies, no decent profitability level was obtained. Furthermore, there is a lack of experimental testing in real-time, online trading platforms and a lack of meaningful comparisons between agents built on different types of DRL or human traders. We conclude that DRL in stock trading has showed huge applicability potential rivalling professional traders under strong assumptions, but the research is still in the very early stages of development.

연구 동기 및 목표

• 저주파 주식 시장에서 DRL이 엔드투엔드 거래 에이전트에 어떻게 적용되었는지 평가합니다.
• critic-only, actor-only, 및 actor-critic DRL 접근으로 방법을 분류하고 강점/약점을 요약합니다.
• 금융 DRL에서 데이터 품질, 관측가능성, 탐색-활용 도전과 보상 설계를 평가합니다.
• 개념 증명 결과와 실시간 라이브 트레이딩 가능성 간의 격차를 식별합니다.

제안 방법

• 검토된 연구를 RL 패러다임으로 분류: critic-only, actor-only, 및 actor-critic.
• 주요 알고리즘(DQN/DRQN, GRU-DQN, GDQN, GDPG, PPO, A2C, DDPG)을 요약합니다.
• 보상 함수와 위험 지표를 논의합니다(예: 샤프 비율, 소르티노 비율).
• 연구 간 평가 설정, 데이터셋, 성능 지표를 비교합니다.
• 거래 비용 모델링의 부재, 작은 행동 공간 등 한계점을 강조합니다.
• 실시간 배포 및 시장 상회 성과 가능성에 대한 합성을 제공합니다.

실험 결과

연구 질문

• RQ1 현실적 제약 하에서 DRL 기반 거래 에이전트가 분 단위에서 일일 시간프레임에 대해 인간 초과 성능을 달성할 수 있는가?
• RQ2 critic-only, actor-only, 및 actor-critic DRL 방법은 라이브 유사 거래 환경에서 어떻게 비교되는가?
• RQ3 DRL 거래 에이전을 실시간 온라인 테스트 및 배포의 주요 장벽은 무엇인가?
• RQ4 보상 설계와 위험 지표가 DRL 거래 성능 형성에 어떤 역할을 하는가?

주요 결과

• DRL은 분 단위에서 일일 시간프레임의 거래 가능성을 보이며, 선택된 시장에서 프로토타입 시스템이 주목할 만한 성능을 달성한다.
• critic-only 접근법(DQN 등)은 일반적이지만 연속적 행동 및 상태 공간, 보상 민감도 등의 문제에 직면한다.
• actor-only 방법은 연속적 행동 공간을 제공하지만 더 많은 데이터와 더 긴 학습 시간이 필요할 수 있다.
• actor-critic 접근(PPO, A2C, DDPG)은 데이터 분포 변화 및 학습 중 불안정성에 대해 강건함을 제공한다.
• PPO, A2C, DDPG를 결합한 앙상블 DRL 전략은 다우존스 주식에서 단일 모델 접근보다 강건한 성능 및 위험 관리 이점을 보인다.
• 다양한 연구에서 많은 것이 개념 증명에 불과하고 실시간 테스트가 제한적이며 보고된 수익성은 다양하다; 실시간 온라인 배치 및 직접 인간 트레이더 비교는 여전히 드물다.