[논문 리뷰] Model-based Deep Reinforcement Learning for Dynamic Portfolio Optimization

P. L. Yu, Joon Sern Lee외 3명|arXiv (Cornell University)|2019. 01. 25.

Advanced Bandit Algorithms Research참고 문헌 49인용 수 63

한 줄 요약

논문은 동적 포트폴리오 최적화를 위한 모델 기반 딥 RL 아키텍처를 제안하며, Infused Prediction Module, Data Augmentation Module with GANs, 및 Behavior Cloning Module을 도입하여 학습 안정성과 위험 대비 수익을 개선합니다.

ABSTRACT

Dynamic portfolio optimization is the process of sequentially allocating wealth to a collection of assets in some consecutive trading periods, based on investors' return-risk profile. Automating this process with machine learning remains a challenging problem. Here, we design a deep reinforcement learning (RL) architecture with an autonomous trading agent such that, investment decisions and actions are made periodically, based on a global objective, with autonomy. In particular, without relying on a purely model-free RL agent, we train our trading agent using a novel RL architecture consisting of an infused prediction module (IPM), a generative adversarial data augmentation module (DAM) and a behavior cloning module (BCM). Our model-based approach works with both on-policy or off-policy RL algorithms. We further design the back-testing and execution engine which interact with the RL agent in real time. Using historical {\em real} financial market data, we simulate trading with practical constraints, and demonstrate that our proposed model is robust, profitable and risk-sensitive, as compared to baseline trading strategies and model-free RL agents from prior work.

연구 동기 및 목표

• 현실적인 거래 제약하에서 동적 포트폴리오 최적화를 위한 강화 학습 사용의 동기를 제시한다.
• 데이터 효율성, 비정상성, 금융의 위험 관리 문제를 다루기 위해 모델 기반 RL 프레임워크를 개발한다.
• 예측, 데이터 증강, 모방 학습 구성요소를 통합하여 거래 에이전트의 안정성과 성능을 향상시킨다.
• 역사적 시장 데이터를 사용해 벤치마크 및 모델 기반 RL 대 approaches 비교 평가한다.

제안 방법

• IPM 도입: 미래 관측 예측을 상태에 추가하여 RL 알고리즘이 사용하는 정보를 확장한다.
• DAM 도입: 최대 평균 차이(MMD)가 있는 순환 GAN을 사용하여 현실적인 합성 시장 데이터를 생성한다.
• BCM 도입: 한 단계의 탐욕적 행동 시연을 제공하여 정책 업데이트를 제약한다.
• DDPG의 모델 기반 적응 채택(그리고 PPO/TRPO 적용 가능성 논의)으로 액터–크리틱 구조를 활용한다.
• 상태를 Predictive features 및 market index signals로 확장하고, 액터/크리틱 네트워크를 위한 LSTM 기반 또는 CNN 기반 특징 추출기를 사용한다.
• 거래비용 및 슬ippage를 반영한 시간별 행위 포트폴리오로 에이전트를 학습 및 테스트한다.

실험 결과

연구 질문

• RQ1 모델 기반 RL 프레임워크가 예측, 증강, 모방 구성요소를 통해 거래 비용과 시장 마찰이 있는 동적 포트폴리오 최적화에서 성능을 개선할 수 있는가?
• RQ2 IPM, DAM, BCM 각각이 모델 기반 baselines 및 전통적 전략에 비해 위험 조정 성과를 개선하는 데 기여하는가?
• RQ3 향후 기반 예측과 합성 데이터의 통합이 비정상적 금융 환경에서의 안정성과 강건성에 어떤 영향을 미치는가?
• RQ4 DDPG 오프폴리시 설정 외에 PPO/TRPO와 같은 온폴리시 방법으로의 확장 가능성은 있는가?
• RQ5 제안된 모듈들을 사용했을 때 드로우다운 및 CVaR 같은 위험 지표에 미치는 영향은 무엇인가?

주요 결과

• 제안된 아키텍처는 벤치마크 및 모델 기반 RL 에이전트에 비해 Sharpe 비율, Sortino 비율, 최대 낙폭, VaR, CVaR 등의 지표를 향상시킨다.
• IPM은 RL 상태에 예측된 미래 관측치를 통합함으로써 상당한 성능 향상을 제공한다.
• DAM은 과적합을 줄이고 합성 데이터 증강을 통해 일반적으로 변동성이 적은 포트폴리오를 형성하도록 돕는다.
• BCM은 포트폴리오 가중치 변동성을 줄이는 데 기여하면서도 일부 경우 수익을 보존하거나 향상시킨다.
• 이 프레임워크는 실제 거래 제약과 비정상적 시장 조건에서도 강건성과 수익성을 보여준다.