[논문 리뷰] A probabilistic max-plus numerical method for solving stochastic control problems

Akian, Marianne, Fodjo, Eric|arXiv (Cornell University)|2016. 05. 09.

Stochastic processes and financial applications참고 문헌 1인용 수 3

한 줄 요약

이 논문은 유한 집합 및 연속 값 제어를 동시에 가진 확률적 제어 문제에서 발생하는 완전 비선형 해밀토니안-자비-벨만 방정식을 해결하기 위한 새로운 확률적 최대-플러스 수치 방법을 제시한다. 맥이너니의 아이드포텐트 최대-플러스 방법과 파히姆, 투지, 워린의 확률적 스킴을 결합함으로써, 절단 없이 다항식 시간 복잡도를 달성하여 고차원 설정에서 가치 함수를 효율적으로 계산할 수 있게 되었으며, 불확실한 변동성과 함께 두 차원 옵션 가격 설정 문제에서 검증되었다.

ABSTRACT

We consider fully nonlinear Hamilton-Jacobi-Bellman equations associated to diffusion control problems involving a finite set-valued (or switching) control and possibly a continuum-valued control. We construct a lower complexity probabilistic numerical algorithm by combining the idempotent expansion properties obtained by McEneaney, Kaise and Han (2011) for solving such problems with a numerical probabilistic method such as the one proposed by Fahim, Touzi and Warin (2011) for solving some fully nonlinear parabolic partial differential equations. Numerical tests on a small example of pricing and hedging an option are presented.

연구 동기 및 목표

• 혼합 이산 및 연속 제어를 가진 확률적 제어 문제에서 완전 비선형 HJB 방정식을 해결하기 위한 저복잡도 수치 방법 개발.
• 기존의 확률적 방법들이 분산 행렬에 엄격한 하한 조건과 해밀토니안의 정규성 조건을 요구하는 한계를 극복하기 위해.
• 아이드포텐트 최대-플러스 방법과 몬테카를로 기반의 확률적 스킴을 통합하여 다항식 시간 복잡도를 보장하기 위해.
• 예를 들어 불확실한 변동성과 함께 옵션 가격 설정과 같은 고차원 문제에서 가치 함수를 효율적으로 계산할 수 있도록 하기 위해.
• 교정용 두 차원 옵션 가격 설정 문제(변동성 제어 전환 포함)에서 방법의 검증을 위해.

제안 방법

• 이 방법은 가치 함수를 이차 형식의 상한으로 표현하는 맥이너니 등이 제안한 아이드포텐트 최대-플러스 접근법과, 후방 확률적 미분 방정식 기반의 파히姆, 투지, 워린의 확률적 스킴을 결합한다.
• 후방 재귀에서 조건부 기대값을 추정하기 위해 소수의 비제어 확률적 과정의 몬테카를로 시뮬레이션을 사용한다.
• 각 시간 단계에서의 가치 함수는 제어에 대한 상한으로 계산되며, 각 항은 이차 형식으로 표현되어 확률적 샘플링을 통해 지수적 증가를 방지한다.
• 기대값의 선형성과 최대-플러스 구조를 활용하여, 절단 없이도 시간 단계 수와 샘플 크기의 다항식 시간 복잡도를 보장한다.
• 시간 T에서의 가치 함수는 오목 이차 형식의 유한 상한으로 근사되며, 곡률는 수익 함수의 행동에 맞게 조정된다.
• 이 스킴은 두 자산 옵션 가격 설정 문제에 적용되었으며, 제어가 두 개의 상관 수준 간 전환된다.

실험 결과

연구 질문

• RQ1 혼합 이산 및 연속 제어를 가진 완전 비선형 HJB 방정식을 해결할 수 있는 확률적 수치 방법을 설계할 수 있는가? 이때 다항식 시간 복잡도를 유지할 수 있는가?
• RQ2 아이드포텐트 최대-플러스 방법과 확률적 스킴을 통합함으로써 절단이 필요 없고, 이차 형식의 수가 지수적으로 증가하는 것을 방지할 수 있는가?
• RQ3 양의 정부정행렬로 하한이 둘 수 없는 분산 행렬의 경우에도 방법이 적용 가능한가? 이는 이전의 확률적 방법의 한계를 극복하는가?
• RQ4 불확실한 변동성과 함께 고차원 확률적 제어 문제(예: 옵션 가격 설정)에서 이 방법의 성능은 어떠한가?
• RQ5 샘플링 파라미터의 변화가 가치 함수 근사의 정확도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 절단 없이도 시간 단계 수와 샘플 크기의 다항식 시간 복잡도를 달성한다. 이는 확률적 샘플링 전략 덕분이다.
• 불확실한 변동성과 함께 두 차원 옵션 가격 설정 문제에서, 이 방법은 [5]에서의 결과와 유사한 성능을 보였으며, 가치 함수는 기준 솔루션과 매우 유사하게 나타났다.
• 단일 제어(ρ = -0.8 또는 0.8)로 테스트한 결과, t=0에서 sup-노름 오차는 0.157, ℓ¹ 노름 오차는 0.074였으며, ξ₂=50, ξ₁∈[20,80] 조건에서 측정되었다.
• Nₘ=2(두 제어 샘플)일 때 Nₘ=3과 Nₘ=4보다 더 우수한 성능를 보였으며, 이는 더 높은 Nₘ 값이 독립적인 랜덤 변수에 대한 최대화 과정에서 편향을 유발할 수 있음을 시사한다.
• 오차 노름은 표준 회귀 기반 방법에서 보고된 값과 유사했으며, 이는 비표준 접근법임에도 불구하고 경쟁 가능한 정확도를 보임을 의미한다.
• 이전의 최대-플러스 방법이 처리할 수 없었던 비반구형 수익 함수 ψ(ξ) = (ξ₁−ξ₂−K₁)⁺−(ξ₁−ξ₂−K₂)⁺는 큰 음의 곡률를 가진 이차 형식을 사용하여 성공적으로 근사되었다.