[논문 리뷰] Deep reinforcement learning for time series: playing idealized trading games

Xiang Gao|arXiv (Cornell University)|2018. 03. 11.

Stock Market Forecasting MethodsDecision Sciences참고 문헌 19인용 수 17

한 줄 요약

이 논문은 깊이 있는 강화학습, 특히 LSTM, GRU, CNN, MLP 아키텍처를 갖춘 딥 Q네트워크를 사용하여 두 가지 이상화된 시계열 환경에서 최적의 거래 전략을 학습한다: 단변량(파형 유사 가격) 및 이변량(가격과 상관관계가 있는 노이즈 있는 신호). GRU 기반 에이전트는 단변량 게임에서 다른 에이전트를 압도적으로 앞서며, MLP 기반 에이전트는 이변량 게임에서 뛰어난 성능을 보여, 시계열 입력으로부터 효과적인 전략 학습이 가능함을 입증한다.

ABSTRACT

Deep Q-learning is investigated as an end-to-end solution to estimate the optimal strategies for acting on time series input. Experiments are conducted on two idealized trading games. 1) Univariate: the only input is a wave-like price time series, and 2) Bivariate: the input includes a random stepwise price time series and a noisy signal time series, which is positively correlated with future price changes. The Univariate game tests whether the agent can capture the underlying dynamics, and the Bivariate game tests whether the agent can utilize the hidden relation among the inputs. Stacked Gated Recurrent Unit (GRU), Long Short-Term Memory (LSTM) units, Convolutional Neural Network (CNN), and multi-layer perceptron (MLP) are used to model Q values. For both games, all agents successfully find a profitable strategy. The GRU-based agents show best overall performance in the Univariate game, while the MLP-based agents outperform others in the Bivariate game.

연구 동기 및 목표

• 깊이 있는 강화학습이 도메인 특화 기능 엔지니어링 없이도 시계열 입력으로부터 수익성 있는 거래 전략을 학습할 수 있는지 조사하는 것.
• GRU, LSTM, CNN, MLP와 같은 다양한 딥 신경망 아키텍처가 거래의 순차적 의사결정을 위한 Q값을 모델링하는 데 얼마나 효과적인지 평가하는 것.
• 에이전트가 향후 가격 움직임과 관련된 상관관계가 있는 노이즈 있는 신호에서 숨겨진 패턴을 발견할 수 있는지 테스트하는 것.
• 단일 가격 역학만 있는 환경과 정보가 포함된 신호가 있는 환경이라는 두 가지 통제된 환경 간의 모델 성능을 비교하는 것.

제안 방법

• 연구는 다양한 순환 및 피드포워드 아키텍처를 갖춘 딥 Q네트워크(DQN)를 사용하여 시계열 관측치로부터 Q값을 추정한다.
• 단변량 게임에서는 파형 유사 가격 시리즈가 입력이며, 이변량 게임에서는 단계적 가격 시리즈와 상관관계가 있는 노이즈 있는 신호가 입력된다.
• 스택드 게이트드 순환 유닛(GRUs), 장기 단기 기억(LSTM) 유닛, 컨볼루션 신경망(CNNs), 다층 퍼셉트론(MLPs)이 Q값 함수를 모델링하는 데 사용된다.
• 에이전트는 강화학습 프레임워크 내에서 학습 안정성을 높이기 위해 경험 재생과 타겟 네트워크를 사용하여 훈련된다.
• 훈련은 에이전트가 시간에 따라 누적 포트폴리오 수익률에 따라 보상을 받는 시뮬레이션 환경에서 수행된다.
• 각 에이전트의 성능은 최종 누적 수익률과 다수의 훈련 런에 걸친 일관성에 기반하여 평가된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 명시적인 기능 엔지니어링 없이도 원시 시계열 데이터로부터 수익성 있는 거래 전략을 학습할 수 있는가?
• RQ2 GRU, LSTM, CNN, MLP와 같은 다양한 신경망 아키텍처는 시계열 입력으로부터 최적의 전략을 학습하는 데 어떻게 비교되는가?
• RQ3 이변량 거래 환경에서 향후 가격 변화와 정확히 상관관계가 있는 노이즈 있는 신호를 에이전트가 활용할 수 있는가?
• RQ4 에이전트의 성능은 주기성이나 노이즈 수준과 같은 시계열의 기초 구조에 따라 달라지는가?
• RQ5 어느 아키텍처가 다양한 시계열 역학에 걸쳐 가장 강력하고 수익성이 높은 전략을 제공하는가?

주요 결과

• 단변량 게임에서 GRU 기반 에이전트는 가장 높은 누적 수익률을 기록하여 주기적인 가격 역학을 모델링하는 데 뛰어난 능력을 보였다.
• 이변량 게임에서 MLP 기반 에이전트는 모든 다른 아키텍처를 앞서며, 신호-노이즈 관계를 효과적으로 포착했다.
• 모든 에이전트 아키텍처가 두 게임 모두에서 수익성 있는 전략을 성공적으로 학습하여, DQN 프레임워크가 시계열 의사결정에 있어 뛰어난 강건성을 지닌다는 것을 입증했다.
• 단변량 설정에서 스택드 GRU와 LSTMs의 사용은 피드포워드 네트워크보다 더 나은 시간적 모델링을 가능하게 했다.
• 상관관계가 있는 노이즈 있는 신호의 포함은 이변량 게임에서 성능을 크게 향상시켰으며, 에이전트가 불완전한 신호에서 유용한 정보를 추출할 수 있음을 확인했다.
• 결과적으로, 엔드 투 엔드 딥 강화학습은 원시 시계열 입력에서 복잡한 거래 전략을 직접 발견할 수 있음을 보여주었다.