[논문 리뷰] Model-Free Reinforcement Learning for Financial Portfolios: A Brief Survey

Yoshiharu Sato|arXiv (Cornell University)|2019. 04. 09.

Stock Market Forecasting MethodsDecision Sciences인용 수 18

한 줄 요약

이 논문은 포트폴리오 리밸런싱을 이산 시간 마르코프 결정 과정(MDP)으로 공식화함으로써 모델 프리 강화학습(RL)을 금융 포트폴리오 최적화의 보편적 프레임워크로 제안한다. 포트폴리오 최적화 문제를 MDP로 재정의함으로써, 자산 수익률의 동역학을 모델링할 필요 없이 최적의 자산 가중치를 학습할 수 있으며, 특히 특정 조건 하에서 켈리 기준과 리스크 파리티 전략이 모두 평균-분산 최적화로 수렴함을 입증함으로써, 모델 프리 RL이 자산 동역학에 대한 사전 지식 없이도 최적의 자산 가중치를 학습할 수 있음을 보여준다. 주요 기여는 실무적 RL 도입에 있어 해결되지 않은 과제들을 규명한 데 있다.

ABSTRACT

Financial portfolio management is one of the problems that are most frequently encountered in the investment industry. Nevertheless, it is not widely recognized that both Kelly Criterion and Risk Parity collapse into Mean Variance under some conditions, which implies that a universal solution to the portfolio optimization problem could potentially exist. In fact, the process of sequential computation of optimal component weights that maximize the portfolio's expected return subject to a certain risk budget can be reformulated as a discrete-time Markov Decision Process (MDP) and hence as a stochastic optimal control, where the system being controlled is a portfolio consisting of multiple investment components, and the control is its component weights. Consequently, the problem could be solved using model-free Reinforcement Learning (RL) without knowing specific component dynamics. By examining existing methods of both value-based and policy-based model-free RL for the portfolio optimization problem, we identify some of the key unresolved questions and difficulties facing today's portfolio managers of applying model-free RL to their investment portfolios.

연구 동기 및 목표

• 포트폴리오 최적화 문제를 마르코프 결정 과정(MDP)으로 재정의하여 모델 프리 강화학습을 가능하게 하기 위해.
• 특정 조건 하에서 기존의 포트폴리오 전략인 켈리 기준과 리스크 파리티가 평균-분산 최적화와 어떻게 관련되는지 조사하기 위해.
• 실제 포트폴리오 관리에 모델 프리 RL을 적용할 때 발생하는 주요 해결되지 않은 과제들을 규명하기 위해.
• 포트폴리오 최적화에 적합한 가치 기반 및 정책 기반 모델 프리 RL 방법을 조사하기 위해.
• 자산 동역학에 대한 명시적 지식이 필요 없이도 보편적이고 적응형 포트폴리오 전략을 개발할 수 있는 기초를 마련하기 위해.

제안 방법

• 상태가 시장 조건이고, 행동이 자산 가중치이며, 보상이 포트폴리오 수익률인 이산 시간 MDP로 포트폴리오 리밸런싱을 공식화하기 위해.
• 리스크 예산 내에서 기대 수익률을 최대화하기 위한 구성 요소 가중치 최적화 문제를 확률적 최적 제어 문제로 재정의하기 위해.
• 가치 기반 RL 방법(예: Q-러닝 변종)을 적용하여 자산 가중치에 대한 최적의 행동-가치 함수를 추정하기 위해.
• 정책 기반 RL 방법(예: REINFORCE, 액터-크리틱)을 적용하여 직접적으로 가중치 배분 정책을 최적화하기 위해.
• 자산 수익률 동역학을 명시적으로 모델링할 필요 없이 역사적 시장 데이터를 사용해 RL 에이전트를 훈련시키기 위해.
• 샤프 지수, 누적 수익률, 리스크 조정 수익률과 같은 표준 포트폴리오 지표를 사용해 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 켈리 기준과 리스크 파리티 전략이 특정 조건 하에서 평균-분산 최적화로 축소되는 조건은 무엇인가?
• RQ2 자산 동역학에 대한 사전 지식 없이도 모델 프리 RL이 최적의 포트폴리오 가중치를 효과적으로 학습할 수 있는가?
• RQ3 실제 포트폴리오 관리에 모델 프리 RL을 도입할 때 발생하는 주요 실무적 과제는 무엇인가?
• RQ4 가치 기반 및 정책 기반 RL 방법은 포트폴리오 최적화에서 성능 및 안정성 측면에서 어떻게 비교되는가?
• RQ5 현재의 RL 접근법이 거래 수수료, 시장 영향력, 비정상적인 시장 환경을 다루는 데에 가지는 한계는 무엇인가?

주요 결과

• 특정 가정 하에서 켈리 기준과 리스크 파리티 전략이 모두 평균-분산 최적화로 축소됨을 입증함으로써, 이들 전략 간의 통합 이론적 기반을 제시함.
• 포트폴리오 최적화 문제를 MDP로 재정의함으로써 모델 프리 RL을 적용할 수 있으며, 자산 동역학을 모델링할 필요 없이 학습이 가능함.
• 가치 기반 및 정책 기반 RL 방법 모두 잠재력을 보이지만, 정책 기반 접근 방식은 일반적으로 포트폴리오 설정에서 더 뛰어난 샘플 효율성과 안정성을 보임.
• 이론적 우수성에도 불구하고 실무적 도입에는 초모수 민감도, 보상 형태 조정, 시장 제도 변화에 대한 강건성 등의 과제가 존재함.
• 일반화 부족과 훈련 과정에서의 높은 분산은 포트폴리오 관리에서 RL을 실용적으로 적용할 때 해결되지 않은 주요 문제로 남아 있음.
• 특정 시장 제도에서 어떤 RL 방법도 항상 전통적 벤치마크를 압도하지 못함을 확인함으로써, 적응형 또는 하이브리드 접근 방식의 필요성을 시사함.