[논문 리뷰] Deep Reinforcement Learning for Active High Frequency Trading

Antonio Briola, Jeremy Turiel외 3명|arXiv (Cornell University)|2021. 01. 18.

Stock Market Forecasting Methods참고 문헌 47인용 수 6

한 줄 요약

이 논문은 한 달에 세 달 분량의 인텔 주식 데이터를 사용해 신호 최적화 샘플링으로 훈련한 Proximal Policy Optimization (PPO)를 활용한 한정지정가주문지록(LOB) 데이터 기반으로 활성 고빈도 거래를 위한 최초의 엔드 투 엔드 딥 강화학습(DRL) 프레임워크를 제시한다. 희박한 보상과 제한된 거래 영향력에도 불구하고, 매우 확률적이고 비_stationary한 환경에서 일시적인 시장 비효율성을 활용할 수 있음을 입증하며, 검증되지 않은 데이터에서 안정적인 양의 수익을 달성한다.

ABSTRACT

We introduce the first end-to-end Deep Reinforcement Learning (DRL) based framework for active high frequency trading in the stock market. We train DRL agents to trade one unit of Intel Corporation stock by employing the Proximal Policy Optimization algorithm. The training is performed on three contiguous months of high frequency Limit Order Book data, of which the last month constitutes the validation data. In order to maximise the signal to noise ratio in the training data, we compose the latter by only selecting training samples with largest price changes. The test is then carried out on the following month of data. Hyperparameters are tuned using the Sequential Model Based Optimization technique. We consider three different state characterizations, which differ in their LOB-based meta-features. Analysing the agents' performances on test data, we argue that the agents are able to create a dynamic representation of the underlying environment. They identify occasional regularities present in the data and exploit them to create long-term profitable trading strategies. Indeed, agents learn trading strategies able to produce stable positive returns in spite of the highly stochastic and non-stationary environment.

연구 동기 및 목표

• 실제 금융 시장에서 활성 고빈도 거래를 위한 엔드 투 엔드 딥 강화학습 프레임워크를 개발하고 검증하는 것.
• 특히 시장 평가 기반 손익(P&L)을 포함한 다양한 상태 표현 방식이 비정상적이고 고노이즈 환경에서 에이전트 성능에 미치는 영향을 조사하는 것.
• 희박한 보상과 제한된 시장 영향력에도 불구하고 DRL 에이전트가 수익성 있는 동적 거래 전략을 학습할 수 있는지 평가하는 것.
• 임시 시장 비효율성이 존재하며, 고급 강화학습 기법을 통해 체계적으로 이용할 수 있음을 실증적으로 입증하는 것.

제안 방법

• 인텔 주식의 연속된 세 달 분량의 고빈도 한정지정가주문지록(LOB) 데이터를 기반으로 Proximal Policy Optimization (PPO) 알고리즘을 사용해 DRL 에이전트를 훈련시켰다.
• 신호 대 노이즈 비율을 향상시키기 위해 가격 변화가 가장 큰 기간만 선택하여 신호 최적화 훈련 세트를 구성했다.
• 학습 안정성과 성능 향상을 위해 초모수 조정에 순차적 모델 기반 최적화(SMBO)를 적용했다.
• LOB 메타특성 기반으로 세 가지의 고유한 상태 표현 방식을 정의하였으며, 그 중 하나는 에이전트의 현재 시장 평가 기반 손익(P&L)을 포함한다.
• 최종 한 달 분량의 데이터를 검증용으로, 그 다음 달 분량을 테스트용으로 사용하는 연속 학습 파rag라디즘을 적용했다.
• 실제 거래 비용과 동적 특성을 반영하기 위해, 위치 청산 시에만 피드백을 제공하는 보상 형태 전략을 적용했다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 매우 확률적이고 비정상적인 고빈도 거래 환경에서 수익성 있는 동적 거래 전략을 학습할 수 있는가?
• RQ2 상태 표현에 시장 평가 기반 손익(P&L)을 포함할 경우 DRL 기반 거래 에이전트의 성능과 수익성에 어떤 영향을 미치는가?
• RQ3 DRL 에이전트는 한정지정가주문지록 데이터에서 일시적인 시장 비효율성을 얼마나 잘 활용하여 안정적인 양의 수익을 창출할 수 있는가?
• RQ4 다양한 LOB 기반 상태 특성화 방식은 DRL 에이전트의 검증되지 않은 성능과 내구성에 어떤 영향을 미치는가?
• RQ5 입찰-매도 스프레드와 희박한 보상 신호를 고려할 때, DRL 기반 에이전트는 일관되게 수동 시장 벤치마크를 초월할 수 있는가?

주요 결과

• DRL 에이전트는 가격 예측 가능성의 부재에도 불구하고 전체 테스트 기간 동안 안정적인 양의 순수익을 달성했으며, 수동 시장 벤치마크를 지속적으로 상회했다.
• 상태 표현에 현재의 시장 평가 기반 손익(P&L)에 접근할 수 있었던 에이전트는 유의미하게 높은 누적 수익과 더 나은 거래 실행 품질을 달성했다.
• 전체 수익성의 차이를 이끄는 주요 요인은 개별 거래 성과가 아니라 거래 수였다.
• 강한 피드백 루프와 비선형 역학성에도 불구하고, 에이전트는 한정지정가주문지록 데이터에서 흔치 않는 규칙성과 일시적인 비효율성을 식별하고 이를 활용할 수 있었다.
• 보상의 희박함에 대비해 프레임워크는 강건성을 보였으며, 에이전트는 청산하기까지 수십에서 수천 개의 타임스텝 동안 포지션을 보유하는 방식으로 효과적인 장기 계획을 수립했다.
• 결과는 강력한 시장 효율성 가정에 반하는 실증적 증거를 제공하며, 마이크로스트럭처 데이터에서 단기적으로 이용 가능한 비효율성이 지속된다는 것을 시사한다.