[논문 리뷰] A stochastic maximum principle via Malliavin calculus

Thilo Meyer‐Brandis, Xun Yu Zhou외 1명|ArXiv.org|2009. 11. 19.

Stochastic processes and financial applications참고 문헌 16인용 수 8

한 줄 요약

이 논문은 몰리엔 반도법을 활용하여 부분 정보 하에서 이토-레비 과정의 최적 제어를 위한 스토하스틱 최대원리(Stochastic Maximum Principle)를 개발한다. 특히, 고유의 적분 방정식의 해가 존재한다는 가정 없이, 애드조인트 과정을 명시적으로 유도한다. 주요 기여는 애드조인트 과정을 기술하는 데 사용되는 새로운 유형의 몰리엔 반도법 유형 방정식을 제안하는 것으로, 이는 점프 디퓨전과 지연된 정보를 포함한 비마르코프, 랜덤 계수 설정에서도 최적 제어를 명시적으로 특성화할 수 있게 한다.

ABSTRACT

This paper considers a controlled Itô-Lévy process where the information available to the controller is possibly less than the overall information. All the system coefficients and the objective performance functional are allowed to be random, possibly non-Markovian. Malliavin calculus is employed to derive a maximum principle for the optimal control of such a system where the adjoint process is explicitly expressed.

연구 동기 및 목표

• 시스템 계수와 성능 기능이 랜덤하고 비마르코프인 최적 스토하스틱 제어 문제를 다루며, 기존의 동적 프rogram밍 접근 방식이 어려운 상황을 해결한다.
• 컨트롤러의 정보 흐름이 전체 필터레이션보다 엄격히 적은 부분 정보 제어 문제를 수립하고 해결한다. 이는 지연되거나 불완전한 관측을 모델링한다.
• 점프와 랜덤 계수를 갖는 제어된 이토-레비 과정을 위한 최대원리를 개발하며, 애드조인트 과정을 몰리엔 반도법을 통해 명시적으로 표현한다.
• 이전 연구에서 애드조인트 해의 존재를 가정한다는 한계를 극복하며, 이는 종종 부분 정보 설정에서 성립하지 않는 경우가 많다.
• 일반적인 정보 구조 하에서 비마르코프, 비예측적 제어에 적용 가능한 프레임워크를 제공하며, 전통적인 부분 관측 모델을 초월한다.

제안 방법

• 몰리엔 반도법을 활용하여 몰리엔 도함수를 통한 쌍대 표현을 유도함으로써, 최대원리에서 애드조인트 과정의 명시적 계산을 가능하게 한다.
• 측도 변화 하에서 클락-오콘 공식과 기르산وف 정리를 활용하여 몰리엔 도함수를 포함하는 조건부 기대값을 표현한다.
• 애드조인트 과정을 위한 새로운 유형의 방정식—즉, 몰리엔 도함수의 조건부 기대값을 포함하는 몰리엔 반도법 유형 방정식—을 유도한다.
• 점프 디퓨전을 처리하기 위해 보정된 점프 측도와 리비 메처에 대한 적분을 애드조인트 방정식 설정에 통합한다.
• L² 내의 랜덤 변수를 표현하기 위해 위너-이토 카오스 전개와 카오스 분해를 활용하여 몰리엔 도함수 분석을 용이하게 한다.
• 성능 기능의 몰리엔 도함수를 포함하는 변분 부등식을 통한 최적성 조건을 수립함으로써, 최적성에 대한 필요 조건을 이끌어낸다.

실험 결과

연구 질문

• RQ1 컨트롤러가 부분 정보를 가지고 있으며 계수가 랜덤한 상황에서 점프 디퓨전의 최적 제어를 위한 스토하스틱 최대원리를 어떻게 도출할 수 있는가?
• RQ2 특히 비마르코프 설정에서 애드조인트 과정의 존재를 사전에 가정하지 않고도 애드조인트 과정을 명시적으로 표현할 수 있는가?
• RQ3 시스템에 디퓨전과 점프 성분이 모두 존재하고 부분 정보 하에 있을 때 몰리엔 반도법이 최적 제어를 특성화하는 데 어떤 역할을 하는가?
• RQ4 제안된 프레임워크는 컨트롤러가 노이즈가 섞인 상태 신호를 관측하는 전통적인 부분 관측 제어 모델과 어떻게 다를까?
• RQ5 몰리엔 반도법 접근에서 어떤 새로운 유형의 방정식이 도출되며, 이를 특수 케이스에서 최적 제어를 특성화하는 데 어떻게 활용할 수 있는가?

주요 결과

• 논문은 애드조인트 과정을 기술하는 데 핵심적인 새로운 유형의 방정식—즉, 몰리엔 반도법 유형 방정식—을 도출한다.
• 애드조인트 과정은 애드조인트 방정식의 해가 존재한다는 가정 없이 몰리엔 도함수의 형태로 명시적으로 표현된다. 이는 이전 연구에서의 주요 한계를 극복한다.
• 점프가 없고 정보가 완전한 특수 케이스(\mathcal{E}_t = \mathcal{F}_t)에서는 최적 제어 \hat{u}(t)가 측도 변화 하에서 몰리엔 도함수의 조건부 기대값을 포함하는 공식으로 주어진다.
• 패워 유용성 함수 U(x) = \frac{1}{\gamma}x^\gamma F(\omega)의 경우, 최적 포트폴리오는 라돈-니코디움 도함수와 몰리엔 도함수를 포함하는 조건부 기대값의 비율을 통해 명시적으로 특성화된다.
• 해는 측도 변화 dQ = N_T dP를 통해 유도되며, 여기서 N_t = \exp\left(-\int_0^t \frac{\alpha_s}{\beta_s} dB_s - \frac{1}{2}\int_0^t \left(\frac{\alpha_s}{\beta_s}\right)^2 ds\right) 이다. 이는 Q 하에서 클락-오콘 공식의 적용을 가능하게 한다.
• 최종 자본 \hat{X}(T)는 E[ U'(\hat{X}(T)) (\alpha_T - \rho_T) + \beta_T D_T U'(\hat{X}(T)) \mid \mathcal{E}_T ] = 0 을 풀어 결정되며, 이는 최적 종료 자본과 도함수 구조를 연결하는 몰리엔 유형 방정식이다.