[논문 리뷰] A general necessary and sufficient optimality conditions for singular control problems

Seïd Bahlali|ArXiv.org|2008. 01. 28.

Stochastic processes and financial applications인용 수 3

한 줄 요약

이 논문은 두 번째 차수 전개를 피하는 새로운 1차 접근법을 사용하여 비정상적인 확률적 최적화 문제에 대한 일반적인 필수 및 필요조건을 수립한다. 비볼록 제어 영역과 일반적인 상태 동역학(제어가 드리프트 및 확산 계수에 모두 영향을 미치는 경우) 하에서, 단일의 쌍대 과정을 사용하여 유연한-비정상적 및 엄격한-비정상적 제어에 대한 전역적인 확률적 최대원리가 유도된다.

ABSTRACT

We consider a stochastic control problem where the set of strict (classical) controls is not necessarily convex and the the variable control has two components, the first being absolutely continuous and the second singular. The system is governed by a nonlinear stochastic differential equation, in which the absolutely continuous component of the control enters both the drift and the diffusion coefficients. By introducing a new approach, we establish necessary and sufficient optimality conditions for two models. The first concerns the relaxed-singular controls, who are a pair of processes whose first component is a measure-valued processes. The second is a particular case of the first and relates to strict-singular control problems. These results are given in the form of global stochastic maximum principle by using only the first order expansion and the associated adjoint equation. This improves and generalizes all the previous works on the maximum principle of controlled stochastic differential equations.

연구 동기 및 목표

• 비볼록 제어 영역을 가진 비정상적 확률적 최적화 문제에 대한 통합 최적성 프레임워크를 개발하기 위해.
• 측도 값 제어 과정을 도입하여 유연한-비정상적 제어로 확률적 최대원리를 확장하기 위해.
• 두 번째 차수 변분 부등식을 피하기 위해 오직 1차 전개만을 사용하여 필요 및 충분 조건을 수립하기 위해.
• 제어 영역 또는 제어 변수에 대한 해밀토니안의 볼록성 가정이 필요 없도록 이전 결과를 일반화하기 위해.
• 엄격한-비정상적 및 유연한-비정상적 제어 문제에 대한 기존 최대원리 공식화를 통합하고 향상시키기 위해.

제안 방법

• 제어 집합 위의 확률 측도를 나타내는 $\mathbb{P}(U_1)$-값 제어 $q_t$로 $U_1$-값 제어 $v_t$를 대체함으로써 새로운 유연한-비정상적 제어 클래스를 도입한다.
• 비용 기능의 1차 전개와 관련된 쌍대 방정식을 사용하여 해밀토니안 $\mathcal{H}$ 를 정의한다.
• 에켈란드의 변분 원리를 활용하고 안정성 성질을 이용하여, 유연한 제어에 대한 볼록한 페르투르베이션을 통해 필요 최적성 조건을 유도한다.
• 비용 기능에 연결된 종단 조건을 갖는 후행 확률 미분 방정식을 푸는 쌍대 과정 $\left(p_t, P_t\right)$ 를 통해 전역적인 확률적 최대원리를 수립한다.
• 최적 제어에서 $\delta(U_1)$ 위에서 $\mathcal{H}$ 의 최소값이 달성됨을 이용하여 필요 조건을 보장한다.
• 비용 기능을 최소화하는 최적 제어를 보장하기 위해 $g$ 의 볼록성과 $x \mapsto H(t,x,q,p,P)$ 의 볼록성을 가정하여 충분 최적성 조건을 증명한다.

실험 결과

연구 질문

• RQ1 두 번째 차수 전개에 의존하지 않고 비정상적 확률적 최적화 문제에 대한 필수 및 충분 최적성 조건을 도출할 수 있는가?
• RQ2 비볼록 제어 영역을 가진 유연한-비정상적 제어로 확률적 최대원리를 어떻게 확장할 수 있는가?
• RQ3 오직 1차 분석만을 사용하여 엄격한-비정상적 및 유연한-비정상적 제어 문제를 하나의 최적성 프레임워크로 통합할 수 있는가?
• RQ4 최적성 조건이 성립하기 위해 필요한 제어 영역 및 해밀토니안에 대한 최소한의 가정은 무엇인가?
• RQ5 두 개의 쌍대 과정을 하나의 쌍대 과정으로 줄일 수 있는가, 동시에 최대원리의 타당성은 유지되는가?

주요 결과

• 논문은 오직 1차 전개만을 사용하여, 단일 쌍대 과정을 사용하는 유연한-비정상적 제어에 대한 전역적인 확률적 최대원리 형태의 필수 및 충분 최적성 조건을 수립한다.
• 최적성 조건는 $\mathcal{H}(t,x_t^{(\mu,\xi)},\mu_t,p_t^{(\mu,\xi)},P_t^{(\mu,\xi)}) = \inf_{q_t \in \delta(U_1)} \mathcal{H}(t,x_t^{(\mu,\xi)},q_t,p_t^{(\mu,\xi)},P_t^{(\mu,\xi)})$ a.s., a.e. 로 표현되며, 이는 최적 제어가 해밀토니안을 최소화함을 보장한다.
• 조건 $\mathbb{P}\left\{\sum_{i=1}^d \mathbf{1}_{\{k_i(t) + G_i^*(t)p_t^{(\mu,\xi)} \geq 0\}} d\xi_t^i = 0\right\} = 1$ 는 유익하지 않은 경우 비정상적 제어가 작동하지 않음을 보장한다.
• 논문은 최적 제어 $ (u,\xi) $ 가 $ \mathcal{U} $ 에서 비용 기능 $ J $ 를 최소화함을 보이며, 이는 해밀토니안이 $ \delta(U_1) $ 에서 최소화되고 쌍대 과정이 필요한 조건을 만족함을 보장한다.
• 두 번째 차수 전개와 두 개의 쌍대 과정이 필요 없음을 제거함으로써 Bahlali와 Mezerdi (2006) 의 결과를 개선하여 복잡성을 감소시킨다.
• 제어 영역 $ U_1 $ 의 볼록성 또는 $ H $ 의 $ v $ 에 대한 볼록성 가정 없이도 충분 최적성 조건가 성립하므로, 더 넓은 범위의 문제에 적용 가능하다.