[논문 리뷰] Reinforcement Learning Applied to Trading Systems: A Survey

Leonardo Kanashiro Felizardo, Francisco Caio Lima Paiva외 2명|arXiv (Cornell University)|2022. 11. 01.

Auction Theory and Applications인용 수 5

한 줄 요약

이 종합 검토는 금융 거래에 응용된 강화학습(RL) 연구 29편에 대한 체계적이고 이론 기반의 분석을 제공하며, 상태, 행동, 보상 설정과 같은 설계 요소를 통합하기 위한 표준화된 워크플로우 파이프라인을 제안한다. 연구는 최선의 실천 방안을 규명하고 표준화 및 재현 가능성 부족의 격차를 드러내며, 분야의 발전을 위해 윤곽 평가 및 오픈소스 코드 공유를 주장한다. 이를 통해 더 견고하고 비교 가능하며 신뢰할 수 있는 RL 기반 거래 시스템의 구현이 가능해진다.

ABSTRACT

Financial domain tasks, such as trading in market exchanges, are challenging and have long attracted researchers. The recent achievements and the consequent notoriety of Reinforcement Learning (RL) have also increased its adoption in trading tasks. RL uses a framework with well-established formal concepts, which raises its attractiveness in learning profitable trading strategies. However, RL use without due attention in the financial area can prevent new researchers from following standards or failing to adopt relevant conceptual guidelines. In this work, we embrace the seminal RL technical fundamentals, concepts, and recommendations to perform a unified, theoretically-grounded examination and comparison of previous research that could serve as a structuring guide for the field of study. A selection of twenty-nine articles was reviewed under our classification that considers RL's most common formulations and design patterns from a large volume of available studies. This classification allowed for precise inspection of the most relevant aspects regarding data input, preprocessing, state and action composition, adopted RL techniques, evaluation setups, and overall results. Our analysis approach organized around fundamental RL concepts allowed for a clear identification of current system design best practices, gaps that require further investigation, and promising research opportunities. Finally, this review attempts to promote the development of this field of study by facilitating researchers' commitment to standards adherence and helping them to avoid straying away from the RL constructs' firm ground.

연구 동기 및 목표

• 금융 거래에 응용된 강화학습의 표준화 부족과 개념적 모호함을 해소하기 위해 기초적인 RL 이론에 기반한 분석을 제공한다.
• 최근의 RL 기반 거래 시스템에서 상태, 행동, 보상, 평가 설정의 일반적인 설계 패턴을 식별하고 체계화한다.
• 기존 연구들 간의 재현 가능성, 평가의 엄밀함, 방법론적 일관성 부족의 심각한 격차를 드러낸다.
• 윤곽 평가, 오픈소스 코드 공유, RL 공식 구조 준수와 같은 최선의 실천 방안을 홍보하여 신뢰성과 비교 가능성 향상을 도모한다.
• 미래 연구를 안내하기 위해 액터-크리틱 방법, 자연어 처리(NLP) 및 예측 모델과의 통합, RL 기반 시장 효율성 측정 지표 개발과 같은 유망한 방향을 식별한다.

제안 방법

• 2017~2022년 사이에 출간된 RL을 금융 거래 시스템에 적용한 최근 논문 29편에 대한 체계적 문헌 검토를 수행하였다.
• 핵심 RL 개념인 상태 표현, 행동 공간, 보상 형상화, 환경 역학에 기반한 통합된 워크플로우 파이프라인을 제안하였다.
• 연구를 데이터 입력, 전처리, 상태 및 행동 조합, RL 알고리즘 선택, 평가 설정, 성능 메트릭 등 핵심 설계 차원에 따라 분류하였다.
• 윤곽 평가, 통계적 유의성 검증, 코드 가용성에 의한 재현 가능성 등을 기준으로 방법론적 엄밀함을 평가하였다.
• 마르코프 결정 과정, 가치 함수, 정책 기반 강화학습 등 이론적 RL 기초를 활용하여 공식 RL 구조와의 일치성을 평가하였다.
• 알고리즘 채택 추세(예: 액터-크리틱 모델)와 외부 기법(예: 어텐션 메커니즘, 예측 모델)의 통합 여부를 분석하였다.

실험 결과

연구 질문

• RQ1 최근의 RL 기반 거래 시스템에서 상태, 행동, 보상 설정의 주요 설계 패턴은 무엇인가?
• RQ2 연구 간 평가 설정과 성능 메트릭은 어떻게 다름과 그로 인한 비교 가능성에 어떤 영향을 미치는가?
• RQ3 기존 연구들이 핵심 RL 공식 구조를 어느 정도 준수하고 있으며, 이의 이탈이 초래하는 결과는 무엇인가?
• RQ4 윤곽 평가 부족이나 오픈소스 코드 누락 등의 방법론적 결함이 재현 가능성과 연구 진전을 저해하는 정도는 어느 정도인가?
• RQ5 자연어 처리(NLP)나 예측 기법과의 통합 등 미래에 유망한 연구 방향은 무엇인가?

주요 결과

• 29개 연구 중 유일한 한 연구만이 소스 코드를 공개하여, 이 분야의 심각한 재현 가능성 격차를 드러냈다.
• 윤곽 평가가 연구의 안정성, 일반화 능력, 통계적 유의성 평가에 중요하므로 필수적이지만, 이를 적용한 연구는 소수에 그쳤다.
• 많은 연구에서 보상 형상화 및 상태 표현 측면에서 공식 RL 원칙에서 벗어나, RL 이론과의 이질성 위험이 존재한다.
• 액터-크리틱 방법의 사용 비율이 증가함에 따라 최근 연구들에서는 더 안정적이고 샘플 효율적인 학습 방향으로의 전환을 보였다.
• 예측 도구 및 NLP 인코더와 같은 외부 모델의 통합 비율이 증가하고 있어, 더 풍부한 상태 표현으로의 추세가 나타나고 있다.
• 평가 및 보고 방식의 표준화 부족으로 연구 간 수치 비교 및 진전 추적에 심각한 제약이 존재한다.