[논문 리뷰] Stochastic Near-Optimal Controls for Path-Dependent Systems

Dorival Leão, Alberto Ohashi외 1명|arXiv (Cornell University)|2017. 07. 17.

Stochastic processes and financial applications참고 문헌 33인용 수 5

한 줄 요약

이 논문은 브라운 운동에 의해 구동되는 확률적 제어 문제에서, 비마코프 및 비세미마르팅글 시스템에 대해 경로에 따라 near-optimal 제어를 구성하는 방법을 개발한다. 약한 미분 구조와 가측 선택을 활용하여 타원성 또는 기능적 미분 가능성 가정 없이 near-optimal 제어를 특성화하며, 경로 의존 SDE와 금융 분야의 비마코프 포트폴리오 최적화 문제에 적용한다.

ABSTRACT

In this article, we present a general methodology for control problems driven by the Brownian motion filtration including non-Markovian and non-semimartingale state processes controlled by mutually singular measures. The main result of this paper is the development of a concrete pathwise method for characterizing and computing near-optimal controls for abstract controlled Wiener functionals. The theory does not require ad hoc functional differentiability assumptions on the value process and elipticity conditions on the diffusion components. The analysis is pathwise over suitable finite dimensional spaces and it is based on the weak differential structure introduced by Leão, Ohashi and Simas jointly with measurable selection arguments. The theory is applied to stochastic control problems based on path-dependent SDEs where both drift and possibly degenerated diffusion components are controlled. Optimal control of drifts for path-dependent SDEs driven by fractional Brownian motion is also discussed. We finally provide an application in the context of financial mathematics. Namely, we construct near-optimal controls in a non-Markovian portfolio optimization problem.

연구 동기 및 목표

• 비마코프 및 비세미마르팅글 시스템을 위한 체계적이고 경로 기반의 확률적 최적 제어 방법을 개발한다.
• 정확한 최적 제어가 존재하지 않거나 수치적으로 불안정할 수 있으므로, 정확한 최적 제어가 필요로 하지 않는 최소한의 정규성 조건 하에서 near-optimal 제어를 구성한다.
• 통제된 드리프트와 가능성이 있는 퇄성 확산 성분을 가진 경로 의존 SDE로 제어 이론을 확장한다.
• 분수 브라운 운동과 비마코프 금융 모델에 적용 가능한 프레임워크를 제공한다.
• 추가적인 특수한 미분 가능성 가정 없이, 추상적 통제된 위너 함수에 대한 near-optimal 제어의 구성 방법을 수립한다.

제안 방법

• Leão, Ohashi, Simas가 도입한 약한 미분 구조를 활용하여 유한 차원 공간 내에서 경로의 변화를 분석한다.
• 매개변수 공간에서의 점별 최대화로부터 제어 정책을 구성하기 위해 가측 선택 원리를 사용한다.
• 유한 시간 간격 근사와 시간 단계별 역순 추론을 기반으로 한 이산화 체계를 적용한다.
• HJB 방정식이나 편미분 방정식에 의존하지 않기 위해, 적응 제어 위에서의 본질적 상한을 통한 가치 과정 정의에 의존한다.
• 각 시간 단계에서 최대화 문제의 시퀀스를 풀어 near-optimal 제어를 구성하며, 오차는 임의의 $ \varepsilon > 0 $ 이내로 제한된다.
• 쌍곡 코사인과 오차 함수를 포함하는 적분의 수렴을 이용하여 근사 오차의 지수 감소를 보장한다.

실험 결과

연구 질문

• RQ1 가치 과정이 기능적으로 미분 가능하다는 가정이 없이, 경로 의존 SDE에 대해 near-optimal 제어를 어떻게 체계적으로 구성할 수 있는가?
• RQ2 확산 성분에 대해 타원성 또는 비퇴화 조건이 필요 없도록 경로 기반 방법을 개발할 수 있는가?
• RQ3 near-optimal 제어가 존재하고 명시적으로 계산될 수 있는 최소한의 가정 집합은 무엇인가?
• RQ4 분수 브라운 운동에 의해 구동되는 비마코프 시스템으로 이 이론을 어떻게 확장할 수 있는가?
• RQ5 경로 의존 수익 구조를 가진 비마코프 금융 모델에서 near-optimal 포트폴리오를 구성하는 데 이 프레임워크를 적용할 수 있는가?

주요 결과

• 논문은 $ \theta > 0 $ 에 대해 기대 수익이 초과값을 넘지 않도록 near-optimal 제어 $ C^{\theta}_{k,\tau} $ 를 구성한다.
• 근사 오차는 지수적으로 감소하며, 이론적 경계는 $ \frac{2}{\theta(2n+1)}e^{-\frac{\theta(2n+1)^2}{4}} $ 로 주어져 이산화 매개변수 $ n $ 에 대해 빠른 수렴을 보장한다.
• 이 방법은 가치 과정이 기능적으로 미분 가능하거나 확산 성분이 비퇴화라는 가정이 필요로 하지 않는다.
• 이 구성은 경로 의존 SDE에서 통제된 드리프트와 퇴화된 확산 성분 모두에 대해 유효하며, 전통적인 마코프 설정을 초월한다.
• 이 프레임워크는 비마코프 포트폴리오 최적화 문제에 성공적으로 적용되어 금융 수학에서의 실용적 관련성을 입증한다.
• 시퀀스 $ \bar{a}^{k,\tau}_n $ 이 최대화자로 수렴함으로써, 충분히 큰 $ n $ 에 대해 near-optimal 제어가 균일하게 $ \theta $-근접한 최적 값에 도달함을 보장한다.