[논문 리뷰] Automatic Financial Trading Agent for Low-risk Portfolio Management using Deep Reinforcement Learning

Wonsup Shin, Seok-Jun Bu외 1명|arXiv (Cornell University)|2019. 09. 07.

Financial Markets and Investment Strategies인용 수 7

한 줄 요약

이 논문은 조정 가능한 탐욕성 하이퍼파라미터를 가진 새로운 목표 정책를 통해 수익 극대화와 리스크 제약을 균형 잡는 딥 강화학습 기반 거래 에이전트를 제안한다. 암호자산 데이터에서 평가된 결과, 기존 방법보다 낮은 리스크로 1,800%의 수익을 기록하여 고변동성 및 짧은 훈련 기간 조건에서도 뛰어난 성능을 입증하였다.

ABSTRACT

The autonomous trading agent is one of the most actively studied areas of artificial intelligence to solve the capital market portfolio management problem. The two primary goals of the portfolio management problem are maximizing profit and restrainting risk. However, most approaches to this problem solely take account of maximizing returns. Therefore, this paper proposes a deep reinforcement learning based trading agent that can manage the portfolio considering not only profit maximization but also risk restraint. We also propose a new target policy to allow the trading agent to learn to prefer low-risk actions. The new target policy can be reflected in the update by adjusting the greediness for the optimal action through the hyper parameter. The proposed trading agent verifies the performance through the data of the cryptocurrency market. The Cryptocurrency market is the best test-ground for testing our trading agents because of the huge amount of data accumulated every minute and the market volatility is extremely large. As a experimental result, during the test period, our agents achieved a return of 1800% and provided the least risky investment strategy among the existing methods. And, another experiment shows that the agent can maintain robust generalized performance even if market volatility is large or training period is short.

연구 동기 및 목표

• 수익을 우선시하는 기존 포트폴리오 관리 방법의 리스크 제어 부족 문제를 보완하기 위해.
• 금융 시장에서 수익 극대화와 리스크 최소화를 동시에 달성하는 자율 거래 에이전트를 개발하기 위해.
• 조정 가능한 탐욕성 하이퍼파라미터를 통해 에이전트가 저위험 거래 행동을 학습할 수 있도록 하는 새로운 목표 정책을 도입하기 위해.
• 고변동성 암호자산 데이터를 통해 에이전트의 성능을 검증하기 위해.
• 짧은 훈련 기간과 고시장 변동성 조건에서도 일반화 능력을 확보하기 위해.

제안 방법

• 에이전트는 역사적 가격 데이터에서 최적의 포지션 할당 전략을 딥 강화학습을 통해 학습한다.
• 새로운 목표 정책가 리스크 선호도에 따라 액션 선택을 조절하며, 최적의 액션을 위한 탐욕성 수준을 제어하는 하이퍼파라미터를 통합한다.
• 지속적인 금융 시계열 데이터에서 액션-가치 함수를 근사하기 위해 딥 Q네트워크(DQN) 아키텍처를 활용한다.
• 환경 설계는 거래 수수료와 리스크 조정 수익을 보상으로 삼는 포트폴리오 재균형을 시뮬레이션한다.
• 학습 안정성을 높이기 위해 경험 재생과 타겟 네트워크 기법을 통합한다.
• 보상 함수는 누적 수익과 리스크 제어를 통합하며, 리스크는 분산 또는 하방 변동성으로 처벌한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반 에이전트는 포트폴리오 관리에서 수익 극대화와 리스크 최소화를 효과적으로 균형 잡을 수 있는가?
• RQ2 조정 가능한 탐욕성 하이퍼파라미터를 가진 제안된 목표 정책은 표준 DQN 기반 접근법에 비해 리스크 제어를 어떻게 향상시키는가?
• RQ3 고시장 변동성 또는 제한된 훈련 데이터 조건에서도 에이전트는 높은 성능을 유지하는가?
• RQ4 암호자산 시장에서 에이전트의 리스크 조정 수익은 기존 방법과 비교해 어떻게 되는가?
• RQ5 에이전트는 다양한 시장 조건과 훈련 기간에 걸쳐 얼마나 잘 일반화되는가?

주요 결과

• 제안된 에이전트는 테스트 기간 동안 누적 수익률 1,800%를 기록하여 기존 방법에 비해 수익성 면에서 뚜렷한 승리를 거두었다.
• 비교된 모든 방법 중에서 가장 낮은 리스크 노출 수준을 보이며 효과적인 리스크 제약이 확인되었다.
• 고변동성 조건에서도 안정적이고 일관된 성능을 유지하여 뛰어난 내구성을 입증하였다.
• 짧은 훈련 기간 조건에서도 일반화 능력이 뛰어나 제한된 데이터에 대한 강력한 적응력을 보였다.
• 조정 가능한 탐욕성 하이퍼파라미터를 가진 새로운 목표 정책의 통합은 리스크 인식 학습을 향상시키고 최종 성능을 향상시켰다.
• 결과적으로 딥 강화학습을 통해 리스크 제어와 수익 극대화를 병행하는 것이 실제 금융 데이터에서 실현 가능하고 효과적임을 확인하였다.