[논문 리뷰] Reinforcement Learning for Quantitative Trading

Shuo Sun, Rundong Wang외 1명|arXiv (Cornell University)|2021. 09. 28.

Stock Market Forecasting Methods참고 문헌 140인용 수 5

한 줄 요약

이 논문은 정량적 거래 분야에서 강화학습(RL)의 응용에 대한 종합적인 서베이를 제시하며, RL 기반 정량적 거래 모델의 분류 체계를 제안하고 최신 기법을 분석한다. RL의 엣지투엣지 학습, 직접적인 수익 최적화, 거래 수수료 처리 등의 장점을 부각시키며, 시뮬레이션의 현실성, 평가의 일관성 부족, 자동화된 머신러닝 도구가 필요한 이유 등 핵심 과제를 밝히고 있다.

ABSTRACT

Quantitative trading (QT), which refers to the usage of mathematical models and data-driven techniques in analyzing the financial market, has been a popular topic in both academia and financial industry since 1970s. In the last decade, reinforcement learning (RL) has garnered significant interest in many domains such as robotics and video games, owing to its outstanding ability on solving complex sequential decision making problems. RL's impact is pervasive, recently demonstrating its ability to conquer many challenging QT tasks. It is a flourishing research direction to explore RL techniques' potential on QT tasks. This paper aims at providing a comprehensive survey of research efforts on RL-based methods for QT tasks. More concretely, we devise a taxonomy of RL-based QT models, along with a comprehensive summary of the state of the art. Finally, we discuss current challenges and propose future research directions in this exciting field.

연구 동기 및 목표

• 다양한 응용 분야에서 기존의 RL 기반 정량적 거래 모델을 체계적으로 분류하고 개요를 제공하기 위해.
• 금융 분야의 복잡한 순차적 의사결정 문제를 해결하는 데 있어 RL 기법의 강점과 한계를 분석하기 위해.
• 시뮬레이션 정밀도, 평가의 엄밀함, 모델 접근성 등의 측면에서 RL 기반 정량적 거래 분야의 주요 열린 과제를 규명하기 위해.
• 자동화된 머신러닝(auto-ML)과 고정밀 시장 시뮬레이터의 통합을 포함한 향후 연구 방향을 제안하여 실용성과 평가 기준을 향상시키기 위해.
• 표준화된 데이터셋과 기준 모델을 통해 정량 금융 분야에서 RL 방법의 일관되고 재현 가능한 평가 기반을 마련하기 위해.

제안 방법

• 강화학습 알고리즘 유형과 금융 응용 분야(예: 알고리즘 거래, 포트폴리오 관리, 마켓 메이킹)를 기반으로 RL 기반 정량적 거래 모델을 분류하는 새로운 분류 체계를 제안한다.
• QT 작업에 적용된 최신 강화학습 기법을 검토하며, 위험 제약 조건 하에서 수익 최적화를 위한 보상 함수를 특화한 엣지투엣지 학습의 중요성을 강조한다.
• 특히 자동 특징 공학, 하이퍼파rameter 튜닝, 신경망 아키텍처 탐색을 위한 자동화된 머신러닝 기법의 통합 개념을 도입하여 전문가가 아닌 이들에게 진입 장벽을 낮춘다.
• 단순한 역사적 데이터 재생을 넘어서, 시장 영향력과 이벤트 수준의 동역학을 반영한 고정밀 시장 시뮬레이터의 필요성을 주장한다.
• 롤링 데이터 분할, 기준 모델 간 일관된 하이퍼파rameter 튜닝, 다중 자산 및 다중 시장 테스트를 포함한 표준화된 평가 프로토콜을 권장하여 신뢰성과 공정성을 확보한다.
• 합성 시장 환경의 현실성을 검증하기 위해 스타일라이즈드 지표와 시뮬레이션 품질 평가 도구의 사용을 제안한다.

실험 결과

연구 질문

• RQ1 정량적 거래 응용의 맥락에서 RL 기반 방법은 어떻게 체계적으로 분류하고 정리될 수 있는가?
• RQ2 정량적 거래에서 전통적인 룰 기반 및 지도학습 접근법에 비해 RL의 핵심적 이점은 무엇인가?
• RQ3 현재의 RL 기반 정량적 거래 연구에서 시뮬레이션의 현실성과 평가 관행 측면에서 주요한 한계는 무엇인가?
• RQ4 자동화된 머신러닝 기법은 비전문가 실무자들이 사용하는 RL 기반 거래 시스템의 접근성과 성능을 어떻게 향상시킬 수 있는가?
• RQ5 정량 금융 분야에서 새로운 RL 알고리즘의 공정하고 재현 가능하며 일반화 가능한 벤치마킹을 보장하기 위해 필요한 표준화된 평가 프레임워크는 무엇인가?

주요 결과

• RL은 시장 데이터에서 거래 행동까지의 엣지투엣지 학습을 가능하게 하여 정확한 가격 예측이 필요 없이 장기 수익을 직접 최적화할 수 있다.
• 현재의 RL 기반 QT 방법은 과적합과 견고하지 못한 시뮬레이션 환경의 부족으로 다양한 시장 제도에서 일반화에 실패하는 경우가 많다.
• 기존의 평가 방법은 일관되지 않은 데이터 분할, 임의의 기준 모델 선택, 불균형한 하이퍼파rameter 튜닝으로 인해 신뢰성과 비교 가능성에 악영향을 미친다.
• 시뮬레이션 환경에 시장 영향력과 현실적인 오더북 동역학을 통합하는 일은 아직 부족한 상태이며, 이는 RL 에이전트의 실제 적용 가능성에 제약을 가한다.
• 자동화된 머신러닝 기법은 특징 선택, 하이퍼파rameter 튜닝, 신경망 아키텍처 설계를 자동화하여 비전문가가 사용하는 RL 기반 거래 시스템의 접근성을 크게 향상시킬 잠재력을 보인다.
• 롤링 데이터 분할, 다중 자산 테스트, 공정한 하이퍼파rameter 튜닝을 포함한 표준화된 평가 프로토콜이 새로운 알고리즘의 신뢰성 있는 발전을 위해 급히 필요로 한다.