[논문 리뷰] A Novel Deep Reinforcement Learning Based Automated Stock Trading System Using Cascaded LSTM Networks

Jie Zou, Jiashu Lou외 2명|arXiv (Cornell University)|2022. 12. 06.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 주식 거래 자동화를 위한 계단식 LSTM-정규화 Proximal Policy Optimization (CLSTM-PPO) 모델을 제안한다. 이 모델은 정책 최적화 이전에 재무 시계열에서 시간적 특징을 추출하기 위해 스택된 LSTMs를 활용한다. 모델은 기준 모델 대비 누적 수익률이 5–52% 높고, 최대 수익률이 8–52% 더 좋으며, 특히 중국 시장에서 성능 향상이 두드러진다. 중국 시장에서는 누적 수익률이 84.4% 향상되고 샤프 지수는 37.4% 향상되었다.

ABSTRACT

More and more stock trading strategies are constructed using deep reinforcement learning (DRL) algorithms, but DRL methods originally widely used in the gaming community are not directly adaptable to financial data with low signal-to-noise ratios and unevenness, and thus suffer from performance shortcomings. In this paper, to capture the hidden information, we propose a DRL based stock trading system using cascaded LSTM, which first uses LSTM to extract the time-series features from stock daily data, and then the features extracted are fed to the agent for training, while the strategy functions in reinforcement learning also use another LSTM for training. Experiments in DJI in the US market and SSE50 in the Chinese stock market show that our model outperforms previous baseline models in terms of cumulative returns and Sharp ratio, and this advantage is more significant in the Chinese stock market, a merging market. It indicates that our proposed method is a promising way to build a automated stock trading system.

연구 동기 및 목표

• 금융 시계열의 낮은 신호 대 잡음 비율과 비정상성으로 인해 딥 강화학습(DRL)을 주식 거래에 직접 적용하기 어려운 문제를 해결한다.
• 과적합과 레이블된 시장 상태에 대한 의존성 등의 문제로 인해 금융 예측에서의 지도학습 방법의 한계를 극복한다.
• 사전에 레이블이 부여된 시장 방향성 정보가 필요 없이 동적으로 최적의 매수/매도 행동을 학습할 수 있는 DRL 기반 자동 거래 시스템을 개발한다.
• 계단식 LSTMs를 통한 시계열 특징 추출을 DRL 프레임워크에 통합하여 모델의 일반화 능력과 수익성 향상을 도모한다.
• 미국, 중국, 인도, 영국 등 다양한 시장에서 모델을 평가하여 선진국 및 신 emerging 주식 시장 모두에서의 내구성과 성능을 점검한다.

제안 방법

• 일일 주가 데이터(가격, 거래량, 기술적 지표(MACD, RSI, CCI, ADX))에서 계층적 시간적 특징을 추출하기 위해 계단식 LSTM(CLSTM) 아키텍처를 활용한다.
• 추출된 특징을 마코프 결정 과정(MDP) 프레임워크 내 Proximal Policy Optimization(PPO) 에이전트의 초기 상태 표현으로 사용한다.
• 거래 작업을 상태가 조정된 가격, 현금 잔고, 주식 보유 수량 및 기술적 지표로 정의된 MDP로 설정한다.
• 포트폴리오 수익률 기반의 보상 함수를 사용하여 PPO 에이전트를 훈련하며, 리스크와 수익의 균형을 맞추기 위해 샤프 지수 정규화를 통한 향상 가능성을 고려한다.
• 일致한 훈련 환경과 평가 지표를 확보하기 위해 기준 모델로 다중 에이전트 앙상블 전략을 구현한다.
• 특히 장기적 DRL 정책 학습을 위해 충분한 훈련 안정성을 확보하기 위해 최소 7년의 이전 데이터 윈도우를 사용한다.

실험 결과

연구 질문

• RQ1 계단식 LSTM 아키텍처가 노이즈가 많고 비정상적인 재무 시계열에서 의미 있는 시간적 패턴을 효과적으로 추출하여 DRL 기반 거래 정책 학습을 향상시킬 수 있는가?
• RQ2 CLSTM-PPO 모델은 다중 글로벌 시장에서 누적 수익률, 리스크 조정된 성능 및 거래당 수익성 측면에서 기존의 DRL 및 앙상블 기반 거래 전략과 비교해 어떻게 성과를 내는가?
• RQ3 모델의 성능 우위는 선진국과 신 emerging 시장 간에 상당한 차이를 보이는가? 특히 중국 A주 시장처럼 변동성이 높은 환경에서 그렇다면?
• RQ4 LSTM 기반 특징 추출 통합이 강화학습을 통한 자동 거래에서 에이전트의 일반화 능력 향상과 과적합 방지를 얼마나 향상시키는가?
• RQ5 보상 함수 정규화(예: 샤프 지수 사용)는 수익 잠재력 손실 없이 훈련 안정성 향상과 최대 손실 감소에 얼마나 기여하는가?

주요 결과

• CLSTM-PPO 모델은 모든 테스트 시장에서 기준 모델 대비 누적 수익률이 5%에서 52% 높으며, 특히 중국 시장에서 가장 두드러진 향상이 있었고, 누적 수익률이 84.4% 상승했다.
• 기준 모델 대비 최대 수익률이 8%에서 52% 향상되어, 특히 추세가 뚜렷한 시장에서 강력한 수익 창출 능력을 보였다.
• 거래당 평균 수익률이 6%에서 14% 향상되어 개별 거래의 의사결정 품질 향상을 입증했다.
• 중국 시장에서 샤프 지수는 앙상블 기준 모델 대비 37.4% 향상되어, 신 emerging 시장에서 리스크 조정된 성능 향상이 뚜렷했다.
• 모델은 모든 네 시장에서 평균 자산 수익률(MER)과 거래당 평균 수익률(APPT)에서 1위를 기록하여, 계단식 LSTMs가 특징 추출에 효과적임을 확인했다.
• 영국 시장에서는 훈련 데이터가 부족하여(7년 미만) 성능이 제한되었으며, 이는 장기적 DRL 학습이 최적 수렴을 위해 상당한 역사적 데이터가 필요함을 시사한다.