[논문 리뷰] Deep optimal stopping

S. Becker, Patrick Cheridito외 1명|arXiv (Cornell University)|2018. 04. 15.

Stochastic processes and financial applications참고 문헌 51인용 수 7

한 줄 요약

이 논문은 몬테카를로 샘플에서 직접 최적 정지 규칙을 근사하기 위해 딥 뉴럴 네트워크를 훈련시켜 고차원 최적 정지 문제를 해결하는 딥 러닝 기반 방법을 제안한다. 이 방법은 다층 피드포워드 네트워크를 사용해 각 시점에서의 0-1 정지 결정을 순차적으로 모델링하며, 고차원(브리타니아 옵션의 경우 최대 500차원) 및 비마르코프 과정(예: 분수 브라운 운동)에서도 정확한 최적 값 추정과 좁은 신뢰구간을 가능하게 한다.

ABSTRACT

In this paper we develop a deep learning method for optimal stopping problems which directly learns the optimal stopping rule from Monte Carlo samples. As such, it is broadly applicable in situations where the underlying randomness can efficiently be simulated. We test the approach on three problems: the pricing of a Bermudan max-call option, the pricing of a callable multi barrier reverse convertible and the problem of optimally stopping a fractional Brownian motion. In all three cases it produces very accurate results in high-dimensional situations with short computing times.

연구 동기 및 목표

• 특히 고차원 또는 비마르코프 과정에 대해 발생하는 차원의 극복 문제를 해결한다.
• 파rametric 가정에 의존하지 않고 시뮬레이션 경로에서 직접 최적 정지 규칙을 학습하는 확장 가능한 딥 러닝 방법을 개발한다.
• 신경망 정책을 사용한 원시-이중 프레임워크를 통해 최적 정지 값에 대한 좁은 하한 및 상한을 제공한다.
• 伝통적 방법이 실패하는 복잡한 금융 파생상품 및 비마르코프 과정에서 이 방법의 효과성을 입증한다.

제안 방법

• 최적 정지 시점을 각 시점에서의 0-1 결정으로 분해하며, 깊이 있는 신경망을 사용해 측정 가능한 함수 fθn: Rd → {0,1}로 모델링한다.
• 스토하스틱 그래디언트 상승을 통해 기대 수익을 최대화함으로써 최적 정지 규칙을 근사하는 딥 뉴럴 네트워크 정책 τΘ를 훈련시킨다.
• 원시-이중 프레임워크를 사용한다: 하한 ˆL는 훈련된 정책 τΘ로부터 계산되고, 상한 ˆU는 [40, 23]의 이중 방법과 이중 마르코프 과정 근사를 사용해 유도된다.
• 각 결정 지점에서의 미래 수익 기대값을 추정하기 위해 신경망을 사용해 계속 가능성 값을 순차적으로 근사한다.
• 비마르코프 과정(예: 분수 브라운 운동)의 경우, 전체 경로 역사 정보를 마르코프 상태 벡터로 표현해 방법을 적용 가능하게 한다.
• 배치 처리와 조기 정지 기법을 사용해 몬테카를로 샘플에 대해 스토하스틱 그래디언트 상승을 통해 네트워크를 훈련시켜 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 딥 러닝은 계산 효율성을 확보하면서도 고차원 마르코프 과정에서 최적 정지 규칙을 근사할 수 있는가?
• RQ2 딥 뉴럴 네트워크 정책은 증가하는 차원 수(d = 2에서 500까지)에 걸쳐 브리타니아 최대콜 옵션의 최적 가치를 얼마나 정확하게 추정할 수 있는가?
• RQ3 이 방법은 고차원 기초 자산을 가진 콜러블 다중 바리어 리버스 컨버티블과 같은 복잡한 파생상품을 다룰 수 있는가?
• RQ4 과거 경로 의존성이 중요한 비마르코프 과정(예: 분수 브라운 운동)에 대해 이 접근법은 얼마나 효과적인가?
• RQ5 제안된 원시-이중 신경망 프레임워크를 사용해 최적 가치 추정 주위에 좁은 신뢰구간을 구성할 수 있는가?

주요 결과

• 브리타니아 최대콜 옵션의 경우, d = 500일 때 하한이 98.243이며 95% 신뢰구간 [98.213, 98.263]을 기록했고, 계산 시간은 200초 이내였다.
• 콜러블 다중 바리어 리버스 컨버티블의 경우, d = 30일 때 하한이 72.393이며 95% 신뢰구간 [71.830, 72.760]을 기록했고, 훈련 및 상한 계산에 약 103초가 소요되었다.
• H = 1.0인 분수 브라운 운동의 경우, 추정된 최적 가치는 0.395이며 95% 신뢰구간 [0.394, 0.395]로 정확한 이론적 값 0.39495...와 일치했다.
• H = 0.5일 때, 방법은 E[W_H_τ] = 0.002를 추정했고 95% 신뢰구간 [0.000, 0.005]를 기록했으며, 이는 이론적 결과 E[W_1/2_τ] = 0과 일치했다.
• H = 0.45일 때, 방법은 E[W_H_τ] = 0.071을 추정했고 95% 신뢰구간 [0.066, 0.075]를 기록했으며, 이는 이전 연구에서 제안된 히우리스틱 규칙보다 유의미하게 높았다.
• 모든 테스트 케이스에서 높은 정확도를 달성했으며, 하한과 상한이 항상 가까이 위치해 있어 좁은 신뢰구간과 신뢰할 수 있는 추정을 의미한다.