[논문 리뷰] Deep Reinforcement Learning for Long-Short Portfolio Optimization

Gang Huang, Xiaohua Zhou외 1명|arXiv (Cornell University)|2020. 12. 26.

Financial Markets and Investment Strategies참고 문헌 22인용 수 8

한 줄 요약

이 논문은 중국 A주식 시장에서 장단기 포트폴리오 최적화를 위한 딥 강화학습(DRL) 프레임워크를 제안한다. 이 프레임워크는 동적 공매도 메커니즘과 평균 샤프 지수 보상 기반으로 설계되었으며, 전통적인 장점전략에 비해 높은 리스크 조정 수익률과 낮은 최대 손실을 기록하여 백테스팅에서 일관된 초과 수익을 보였다.

ABSTRACT

With the rapid development of artificial intelligence, data-driven methods effectively overcome limitations in traditional portfolio optimization. Conventional models primarily employ long-only mechanisms, excluding highly correlated assets to diversify risk. However, incorporating short-selling enables low-risk arbitrage through hedging correlated assets. This paper constructs a Deep Reinforcement Learning (DRL) portfolio management framework with short-selling mechanisms conforming to actual trading rules, exploring strategies for excess returns in China's A-share market. Key innovations include: (1) Development of a comprehensive short-selling mechanism in continuous trading that accounts for dynamic evolution of transactions across time periods; (2) Design of a long-short optimization framework integrating deep neural networks for processing multi-dimensional financial time series with mean Sharpe ratio reward functions. Empirical results show the DRL model with short-selling demonstrates significant optimization capabilities, achieving consistent positive returns during backtesting periods. Compared to traditional approaches, this model delivers superior risk-adjusted returns while reducing maximum drawdown. From an allocation perspective, the DRL model establishes a robust investment style, enhancing defensive capabilities through strategic avoidance of underperforming assets and balanced capital allocation. This research contributes to portfolio theory while providing novel methodologies for quantitative investment practice.

연구 동기 및 목표

• 전통적인 장전전략 모델의 한계를 해결하기 위해 공매도를 통합함으로써 리스크 다각화와 아르비트 기회를 향상시키기 위해.
• 지속적인 거래 환경에서 변화하는 시장 조건에 동적으로 적응할 수 있는 데이터 기반의 강화학습 기반 프레임워크를 개발하기 위해.
• 장·단기 포지션에 대한 전략적 자산 배분을 가능하게 하면서도 평균 샤프 지수 최적화를 통해 리스크 조정 수익률을 향상시키기 위해.
• 실제 A주식 시장 데이터를 활용한 백테스팅을 통해 프레임워크의 강건성과 방어 능력을 검증하기 위해.

제안 방법

• 다양한 금융 시계열 데이터(주가, 변동성, 상관계수 포함)를 처리하기 위해 딥 Q넷워크(DQN) 또는 유사한 DRL 아키텍처를 활용한다.
• 실제 거래 제약 조건과 거래 수수료를 고려한 룰 기반 동적 공매도 포지션을 구현하기 위한 맞춤형 공매도 메커니즘을 도입한다.
• 보상 함수는 시간에 따른 평균 샤프 지수로 설계되어 일관된 리스크 조정 초과 수익을 장려한다.
• 에이전트가 시뮬레이션된 시장 환경과의 시도-오류 상호작용을 통해 최적의 포트폴리오 가중치를 학습할 수 있도록 종단 간(end-to-end)으로 모델을 훈련한다.
• 현실적인 거래 조건을 반영하기 위해 거래 수수료 모델링과 포지션 제약 조건을 프레임워크에 통합한다.
• 연속적인 액션 스페이스를 사용하여 장·단기 포지션 간의 민감한 자산 배분을 가능하게 하여 관련 자산의 동적 헤징을 지원한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 모델은 공매도와 거래 수수료를 포함한 현실적인 거래 제약 조건 하에서 장단기 포트폴리오를 효과적으로 관리할 수 있는가?
• RQ2 동적 공매도의 통합이 기존 장전전략 포트폴리오 최적화에 비해 리스크 조정 수익률을 어떻게 향상시키는가?
• RQ3 평균 샤프 지수 보상 함수가 다양한 시장 사이클 동안 포트폴리오의 안정성과 수익성 일관성을 얼마나 향상시키는가?
• RQ4 중국 A주식 데이터에 대한 백테스팅에서 DRL 프레임워크는 기존 모델 대비 최대 손실과 터닝오버 측면에서 어떻게 비교되는가?

주요 결과

• 공매도 기능을 갖춘 DRL 모델은 모든 백테스팅 기간 동안 일관된 정수익률을 기록하며 기존 장전전략을 압도적으로 뛰어넘었다.
• 기존 접근 방식에 비해 상당히 낮은 최대 손실을 기록하여 하방 리스크 보호 능력이 향상됨을 시사했다.
• 성과가 열등한 자산을 전략적으로 회피하고 균형 잡힌 자본 배분이 이루어져 모델의 강건한 방어적 투자 스타일을 이룩했다.
• 더 높은 샤프 지수와 향상된 터닝오버 효율성으로 인해 프레임워크가 뛰어난 리스크 조정 수익률을 기록했다.
• 동적 공매도 메커니즘의 통합을 통해 관련 자산의 효과적인 헤징이 가능해져 저위험 아르비트 기회를 실현할 수 있었다.
• 실증 결과는 모델이 변화하는 시장 제도에 적응하여 변동성 조건이 다양할 때에도 안정적인 성능을 유지할 수 있음을 확인했다.