[논문 리뷰] Deep Reinforcement Learning for Trading

Zihao Zhang, Stefan Zohren외 1명|arXiv (Cornell University)|2019. 11. 22.

Stock Market Forecasting Methods참고 문헌 47인용 수 11

한 줄 요약

이 논문은 다양한 자산 클래스의 연속 선물 계약에 대해 최적의 거래 전략을 학습하기 위한 딥 강화학습(DRL) 프레임워크를 제안한다. DQN, PG, A2C 알고리즘을 사용하여 시장 상태를 직접 거래 포지션으로 매핑하고, 변동성 스케일링된 보상 함수를 적용함으로써, 고비용 거래 조건 하에서도 전통적인 모멘텀 전략을 능가하는 성과를 내며, 상품, 주식, 채권, 외환 시장 전반에서 안정적인 성능을 보인다.

ABSTRACT

We adopt Deep Reinforcement Learning algorithms to design trading strategies for continuous futures contracts. Both discrete and continuous action spaces are considered and volatility scaling is incorporated to create reward functions which scale trade positions based on market volatility. We test our algorithms on the 50 most liquid futures contracts from 2011 to 2019, and investigate how performance varies across different asset classes including commodities, equity indices, fixed income and FX markets. We compare our algorithms against classical time series momentum strategies, and show that our method outperforms such baseline models, delivering positive profits despite heavy transaction costs. The experiments show that the proposed algorithms can follow large market trends without changing positions and can also scale down, or hold, through consolidation periods.

연구 동기 및 목표

• 시장 상태에서 직접 최적의 거래 포지션을 학습하는 딥 강화학습 프레임워크를 개발한다. 이는 명시적 예측을 회피하는 것을 목표로 한다.
• DQN, PG, A2C와 같은 DRL 알고리즘의 성능을 다양한 선물 시장에서 이산 및 연속 행동 공간을 통해 평가한다.
• 시장 변동성에 따라 포지션 크기를 동적으로 조정하기 위해 변동성 스케일링을 활용한 보상 함수를 개선한다.
• 자산 클래스(상품, 주식 인덱스, 채권, 외환) 전반과 현실적인 거래 수수료 조건 하에서 성능을 평가한다.
• 트렌드 시장 및 평균 회귀 시장 모두에서 DRL 기반 전략의 강건성과 일관성을 입증한다.

제안 방법

• 시장 조건를 기반으로 시계열 모멘텀과 기술적 지표(예: MACD, 수익률의 부호)를 활용한 상태 표현을 사용하여 시장 상태를 인코딩한다.
• 세 가지 DRL 알고리즘을 적용한다: 딥 Q 네트워크(DQN), 정책 그래디언트(PG), 이점 액터-크리틱(A2C)이며, 이는 이산 및 연속 행동 공간을 모두 포함한다.
• 보상 함수를 변동성 스케일링을 통해 개선하여 변동성이 낮을수록 포지션 크기를 증가시키고, 높을수록 감소시키도록 한다.
• 유용도 함수는 선형(위험 중립)이며, 강화학습의 목표인 누적 수익의 기대값을 최대화하는 데 부합하며, 현대 포트폴리오 이론과 일치한다.
• 거래 수수료는 보상 함수에 명시적으로 반영되어 실제 시장의 마찰을 반영한다.
• 성능 평가는 2011년부터 2019년까지 50개의 유동성 있는 선물 계약을 대상으로 하며, 샤페 ratio 및 전환당 평균 수익률 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 알고리즘이 명시적 예측 없이 시장 상태에서 직접 수익성 있는 거래 전략을 학습할 수 있는가?
• RQ2 이산 및 연속 행동 공간을 갖는 DRL 모델이 다양한 자산 클래스에서 성능 면에서 어떻게 비교되는가?
• RQ3 보상 함수에 적용된 변동성 스케일링이 거래 성능과 강건성에 얼마나 기여하는가?
• RQ4 고거래 수수료 조건 하에서 DRL 기반 전략이 전통적인 시계열 모멘텀 전략을 능가할 수 있는가?
• RQ5 개별 계약 및 자산 클래스 전반에서 결과의 일관성은 어느 정도인가?

주요 결과

• 특히 DQN과 A2C를 사용한 DRL 기반 전략은 모든 자산 클래스에서 전통적인 모멘텀 전략을 능가하며, 양의 연간 샤페 ratio를 기록한다.
• DQN은 모든 계약에서 평균 연간 샤페 ratio 1.288을 기록했으며, 누적 수익률 2.220을 달성했고, 25bp의 거래 수수료 조건 하에서도 성과를 유지했다.
• A2C 알고리즘은 누적 수익률 1.785와 연간 샤페 ratio 1.050을 기록하여 트렌드 시장에서 뛰어난 성능을 보였다.
• 모델은 상품, 주식 인덱스, 채권, 외환 등 전반에서 일관된 성능을 유지했으며, 부문 간 샤페 ratio 범위는 0.517에서 1.048 사이였다.
• 25bp의 거래 수수료(약 계약당 ~3.5달러에 해당) 조건 하에서도 DQN과 A2C는 양의 이익을 기록했으며, 이는 시장 마찰에 대한 강건성을 시사한다.
• 박스플롯 분석을 통해 성과가 단일 고성과 계약에 의해 유도된 것이 아니며, 개별 금융 상품 전반에서 모델의 일관성이 확인되었다.