[논문 리뷰] Systematic Review on Reinforcement Learning in the Field of Fintech

Nadeem Malibari, Iyad Katib외 1명|arXiv (Cornell University)|2023. 04. 29.

FinTech, Crowdfunding, Digital FinanceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 체계적 리뷰는 2018년 이후 금융기술(fintech) 분야에서 강화학습(RL) 응용을 PRISMA 프레임워크를 사용해 평가하며, 포트폴리오 최적화, 리스크 관리, 거래 전략 분야에서 RL의 영향을 분석한다. 연구 결과, 알고리즘 거래, 로보 어드바이저, 마켓 메이킹과 같은 핵심 금융기술 분야에서 수익성, 확장성, 의사결정 정확도 측면에서 기존 최고 수준의 알고리즘보다 RL 기반 접근 방식이 뚜렷이 뛰어난 성능을 보임을 확인한다.

ABSTRACT

Applications of Reinforcement Learning in the Finance Technology (Fintech) have acquired a lot of admiration lately. Undoubtedly Reinforcement Learning, through its vast competence and proficiency, has aided remarkable results in the field of Fintech. The objective of this systematic survey is to perform an exploratory study on a correlation between reinforcement learning and Fintech to highlight the prediction accuracy, complexity, scalability, risks, profitability and performance. Major uses of reinforcement learning in finance or Fintech include portfolio optimization, credit risk reduction, investment capital management, profit maximization, effective recommendation systems, and better price setting strategies. Several studies have addressed the actual contribution of reinforcement learning to the performance of financial institutions. The latest studies included in this survey are publications from 2018 onward. The survey is conducted using PRISMA technique which focuses on the reporting of reviews and is based on a checklist and four-phase flow diagram. The conducted survey indicates that the performance of RL-based strategies in Fintech fields proves to perform considerably better than other state-of-the-art algorithms. The present work discusses the use of reinforcement learning algorithms in diverse decision-making challenges in Fintech and concludes that the organizations dealing with finance can benefit greatly from Robo-advising, smart order channelling, market making, hedging and options pricing, portfolio optimization, and optimal execution.

연구 동기 및 목표

• 금융기술(fintech) 응용 분야에서 강화학습(RL)의 통합을 검토하기 위해.
• 포트폴리오 관리 및 신용 리스크와 같은 핵심 fintech 분야에서 RL 기반 전략의 성능을 평가하기 위해.
• 실제 금융 의사결정 환경에서 RL의 강점, 한계, 확장성 규모를 규명하기 위해.
• 수익성, 정확도, 리스크 완화 측면에서 RL 성과를 기존 최고 수준의 알고리즘과 비교하기 위해.
• 표준화된 리뷰 방법론을 사용해 최근의 RL 금융기술 분야 발전 사항을 종합적이고 근거 기반으로 요약하기 위해.

제안 방법

• 연구는 방법론적 엄밀성과 투명성을 확보하기 위해 PRISMA(체계적 리뷰 및 메타분석을 위한 선호 보고 항목) 프레임워크를 적용한다.
• 2018년 이후 계산 금융, 인공지능, 기계학습 분야의 동료 심사 논문을 중심으로 체계적 문헌 검색을 수행한다.
• 관련성, 방법론적 타당성, 실증적 평가 여부 기준으로 포함 및 배제 기준을 적용해 연구를 선별한다.
• RL 성능에 대한 통찰을 추출하기 위해 총 31페이지의 내용, 15개의 그림, 7개의 표를 분석한다.
• 데이터 융합은 예측 정확도, 수익성, 리스크 노출도와 같은 비교 성능 지표에 중점을 둔다.
• 연구 선별 및 분석의 재현 가능성과 편향 최소화를 위해 4단계 흐름도 및 체크리스트를 사용한다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 강화학습(RL)은 포트폴리오 최적화에서 의사결정 과정을 어떻게 향상시키는가?
• RQ2 금융기술 응용 분야에서 RL 기반 시스템의 주요 성능 지표(예: 수익성, 리스크 감소)는 무엇인가?
• RQ3 금융 환경에서 확장성과 내구성 측면에서 RL 기반 전략은 기존 최고 수준의 알고리즘과 어떻게 비교되는가?
• RQ4 강화학습(RL)의 가장 두드러진 금융기술 응용 분야는 무엇이며, 실무 적용 시 어떤 과제에 직면해 있는가?
• RQ5 금융기관에 RL을 도입할 경우 관련된 한계와 리스크는 무엇인가?

주요 결과

• RL 기반 전략은 전통적 방법에 비해 더 높은 리스크 조정 수익률을 달성하며 포트폴리오 최적화 분야에서 뛰어난 성능을 보였다.
• 알고리즘 거래 및 마켓 메이킹 분야에서 RL 모델은 실행 품질 향상과 시장 영향도 감소를 보였다.
• 로보 어드바이저 시스템에서 RL을 적용한 결과, 규칙 기반 및 지도학습 모델보다 개인 맞춤형 투자 추천에서 뛰어난 성능을 보였다.
• 옵션 가격 책정 및 헤지에 RL을 적용한 결과, 시장 변동성 상황에서도 더 정확한 동적 헤지 전략을 도출할 수 있었다.
• 강력한 성능에도 불구하고, 연구들 간 일관되게 해석 가능성, 학습 안정성, 규제 준수 문제에 대한 도전 과제가 제기되었다.
• 이 리뷰는 RL이 금융기술에서 흔히 발생하는 고차원적이고 순차적인 의사결정 과제에 대해 확장 가능하고 효과적임을 확인한다.