[논문 리뷰] AlphaStock: A Buying-Winners-and-Selling-Losers Investment Strategy using Interpretable Deep Reinforcement Attention Networks

Jingyuan Wang, Yang Zhang외 3명|RePEc: Research Papers in Economics|2019. 07. 24.

Stock Market Forecasting Methods인용 수 14

한 줄 요약

AlphaStock는 주식 거래에서 리스크와 수익을 균형 잡는 데 중점을 두고 해석 가능한 딥 어텐션 네트워크를 통합한 강화학습 기반 투자 전략을 제안한다. 자산 간 상관관계를 모델링하고 장기 성장성이 높고, 변동성이 낮으며, 내재가치가 높고 최근에 저평가된 주식에 초점을 맞추어, 미국 및 중국 주식시장에서 기존 전략을 능가하는 해석 가능성과 강건성을 확보한다.

ABSTRACT

Recent years have witnessed the successful marriage of finance innovations and AI techniques in various finance applications including quantitative trading (QT). Despite great research efforts devoted to leveraging deep learning (DL) methods for building better QT strategies, existing studies still face serious challenges especially from the side of finance, such as the balance of risk and return, the resistance to extreme loss, and the interpretability of strategies, which limit the application of DL-based strategies in real-life financial markets. In this work, we propose AlphaStock, a novel reinforcement learning (RL) based investment strategy enhanced by interpretable deep attention networks, to address the above challenges. Our main contributions are summarized as follows: i) We integrate deep attention networks with a Sharpe ratio-oriented reinforcement learning framework to achieve a risk-return balanced investment strategy; ii) We suggest modeling interrelationships among assets to avoid selection bias and develop a cross-asset attention mechanism; iii) To our best knowledge, this work is among the first to offer an interpretable investment strategy using deep reinforcement learning models. The experiments on long-periodic U.S. and Chinese markets demonstrate the effectiveness and robustness of AlphaStock over diverse market states. It turns out that AlphaStock tends to select the stocks as winners with high long-term growth, low volatility, high intrinsic value, and being undervalued recently.

연구 동기 및 목표

• 딥 러닝 기반의 정량적 거래 전략에서 리스크와 수익을 균형 잡는 데 도전 과제를 해결한다.
• 선택 편향을 방지하고 포트폴리오 구성 품질을 향상시키기 위해 자산 간 상호관계를 모델링한다.
• 금융 분야에서 딥 강화학습 모델의 해석 가능성을 향상시켜 '블랙박스 문제'를 해결한다.
• 기본적 요인과 기술적 요인을 바탕으로 승자와 진자 주식을 식별하는 전략을 개발한다.
• 미국 및 중국 주식시장의 다양한 시장 조건에서 강건한 성능을 입증한다.

제안 방법

• 개별 주식의 다중 시계열 표현을 추출하기 위해 역사 상태를 갖춘 장기 단기 기억망(Attention with LSTM-HA) 네트워크를 활용한다.
• 포트폴리오 전반에서 상대적 주가 모멘텀을 포착하고 주식 간 상호의존성을 모델링하기 위해 크로스-어셋 어텐션 네트워크(CAAN)를 도입한다.
• 리스크 조정 수익을 최적화하기 위해 샤프 비율 기반 강화학습 프레임워크를 설계한다.
• 학습된 '승자 스코어' 기반으로 투자 가중치를 할당하는 포트폴리오 생성기 사용한다.
• 특성 중요도와 어텐션 가중치를 측정하여 모델 결정을 해석하기 위해 민감도 분석 방법을 적용한다.
• 누적 샤프 비율을 최대화하기 위해 역사적 가격, 기본적 요인, 거시경제 데이터를 종합적으로 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 해석 가능한 어텐션 메커니즘을 갖춘 딥 강화학습 모델이 정량적 거래에서 리스크와 수익을 효과적으로 균형 잡을 수 있는가?
• RQ2 자산 간 상관관계를 모델링하면 개별 주식 중심 전략 대비 포트폴리오 성과가 어떻게 향상되는가?
• RQ3 딥 RL 모델의 어텐션 메커니즘이 투자 결정에 대해 얼마나 해석 가능한 통찰을 제공할 수 있는가?
• RQ4 제안된 AlphaStock 전략은 다양한 시장 제도에서 전통적 및 딥 러닝 기반 벤치마크를 능가하는가?
• RQ5 모델이 승자와 진자를 식별할 때 어떤 주식 특성(예: 성장성, 변동성, 내재가치)을 우선시하는가?

주요 결과

• AlphaStock는 미국 및 중국 주식시장 장기 데이터에서 기준 전략, 전통적 모멘텀 전략, 딥 러닝 기반 강화학습 모델을 포함한 기존 전략을 샤프 비율과 누적 수익률 측면에서 뛰어나게 능가했다.
• 모델는 장기 성장성이 높고, 변동성이 낮으며, 내재가치가 높고 최근에 저평가된 주식을 항상 상위 투자 대상으로 선별했다.
• 크로스-어셋 어텐션 네트워크는 주식 간 상관관계를 효과적으로 포착하여 선택 편향을 줄이고 포트폴리오 다각화를 향상시켰다.
• 민감도 분석 결과, 모델의 결정은 해석 가능했으며, 어텐션 가중치가 가격 모멘텀과 기본적 강도와 같은 핵심 재무 요소를 명확히 부각시켰다.
• AlphaStock는 호황장, 하락장, 횡보장 등 다양한 시장 상태에서 강건한 성능을 보여, 뛰어난 일반화 능력을 입증했다.
• 강화학습 프레임워크 내 샤프 비율 최적화 통합으로 수익 극대화 전용 접근법 대비 뛰어난 리스크 조정 수익 성과를 달성했다.