[논문 리뷰] Deep Reinforcement Learning for Optimal Stopping with Application in Financial Engineering

Abderrahim Fathan, Erick Delage|arXiv (Cornell University)|2021. 05. 19.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 4

한 줄 요약

이 논문은 금융공학 분야에서 최적 정지 문제에 딥 강화학습(DRL)을 적용하며, DDQN, C51, IQN 알고리즘을 사용하여 버마디안 콜옵션의 최적 행사 정책을 학습한다. S&P 500 데이터 기반으로 C51는 기준 모델 대비 8% 높은 샘플 외 수익률을 기록했고, 블랙-숄즈 동역학 하에서 IQN은 이론적 옵션 가격과 밀도 있게 일치한다.

ABSTRACT

Optimal stopping is the problem of deciding the right time at which to take a particular action in a stochastic system, in order to maximize an expected reward. It has many applications in areas such as finance, healthcare, and statistics. In this paper, we employ deep Reinforcement Learning (RL) to learn optimal stopping policies in two financial engineering applications: namely option pricing, and optimal option exercise. We present for the first time a comprehensive empirical evaluation of the quality of optimal stopping policies identified by three state of the art deep RL algorithms: double deep Q-learning (DDQN), categorical distributional RL (C51), and Implicit Quantile Networks (IQN). In the case of option pricing, our findings indicate that in a theoretical Black-Schole environment, IQN successfully identifies nearly optimal prices. On the other hand, it is slightly outperformed by C51 when confronted to real stock data movements in a put option exercise problem that involves assets from the S&P500 index. More importantly, the C51 algorithm is able to identify an optimal stopping policy that achieves 8% more out-of-sample returns than the best of four natural benchmark policies. We conclude with a discussion of our findings which should pave the way for relevant future research.

연구 동기 및 목표

• 최신 딥 강화학습 알고리즘의 최적 정지 문제 해결 능력을 평가하기 위해 금융공학 분야에 적용한다.
• 시장 변동성 하에서 실제 옵션 가격 책정 및 행사 시나리오에서 DDQN, C51, IQN의 성능을 비교한다.
• 실제 주식 데이터 기반의 샘플 외 설정에서 전통적 모델인 이진수 나무 모델 대비 DRL이 성능을 뛰어넘을 수 있는지 확인한다.
• 다양한 DRL 아키텍처에서 계산 비용, 학습 속도, 성능 간의 상충 관계를 분석한다.
• 비정상적인 금융 환경에서 일반화 성능을 향상시키기 위한 하이퍼파rameter 민감도 및 학습 전략을 탐색한다.

제안 방법

• 시계열 가격 데이터의 시간적 의존성을 모델링하기 위해 Long Short-Term Memory(LSTM) 네트워크를 통합하여 DDQN, C51, IQN 알고리즘의 변형을 적용한다.
• 행동-가치 함수 근사에서 과도한 추정 편향을 줄이기 위해 더블 Q-학습을 활용한다.
• 상태 가치와 행동 우월도를 별도로 추정하는 듀얼 네트워크 아키텍처를 적용하여 고차원 행동 공간에서 정책 평가 성능을 향상시킨다.
• 다중 스텝 부트스트랩 기법을 적용하여 보상 전파를 가속화하고 가치 함수 학습에서 편향-분산 트레이드오프를 균형 잡는다.
• 역사적 S&P 500 주가 데이터를 기반으로 모델을 학습하고, 검증 세트를 통해 하이퍼파ram터를 튜닝하며, 테스트 세트를 통해 샘플 외 성능을 평가한다.
• 역사적 변동성을 활용해 위험 중립 측도 하에서 옵션 가격을 校정하여 기대 수익률 및 옵션 지급 지표를 산출한다.

실험 결과

연구 질문

• RQ1 기하 브라운 motion 하에서 딥 강화학습 알고리즘이 옵션 가격 책정에 대해 거의 최적의 정지 정책을 학습할 수 있는가?
• RQ2 실제 S&P 500 주가 데이터에 적용했을 때 C51, IQN, DDQN의 성능는 어떻게 비교되는가?
• RQ3 샘플 외 옵션 행사 수익률 측면에서 DRL이 이진수 나무 모델과 같은 전통적 기준 모델을 얼마나 뛰어넘을 수 있는가?
• RQ4 변동성이 높고 비정상적인 금융 환경에서 IQN, C51, DDQN 간의 계산 비용 및 일반화 성능 간 상충 관계는 어떠한가?
• RQ5 학습 에피소드의 연속적 순서가 비정상적인 시장 환경에서 샘플 외 성능 향상에 기여하는가?

주요 결과

• 이론적 블랙-숄즈 환경에서 IQN은 거의 최적의 옵션 가격을 식별하여 통제된 환경에서 뛰어난 성능을 보였다.
• 실제 S&P 500 데이터 기반으로 C51는 네 가지 자연스러운 기준 정책 전부를 초월하여 샘플 외 기대 옵션 수익률 8% 높은 성과 기록(22.0% 대비 기준 최고 수준 14.0%).
• 테스트 세트에서 C51는 평균 기대 보상 0.0291을 기록하여 IQN(0.0285)과 DDQN(0.0274)을 모두 앞서며, 90% 신뢰구간 기준 1.6%의 유의미한 성능 향상 확보.
• IQN은 뛀난 데이터 피팅 능력을 보였지만, 고변동성 또는 비마르코프 환경에서는 과적합에 취약한 경향을 보였다.
• DDQN은 IQN 대비 1.2–1.5배, C51 대비 2–4배 더 빠른 속도를 기록했지만, 기대 보상 및 수익률 지표에서 모두 둘보다 열등한 성능 기록.
• IQN은 DDQN 대비 상당히 많은 메모리를 소비하여 성능과 자원 효율성 간의 핵심적 상충 관계를 드러냈다.