[논문 리뷰] A general stochastic maximum principle for optimal control problems of forward-backward systems

Seïd Bahlali|ArXiv.org|2008. 01. 28.

Stochastic processes and financial applications참고 문헌 35인용 수 3

한 줄 요약

이 논문은 비볼록 제어 도메인과 제어에 의존하는 확산 계수를 가진 전진-후진 확률미분방정식(FBSDE)에 대한 최적 제어 문제에 대해 일반적인 스토하스틱 최대원리(stochastic maximum principle)를 수립한다. 이는 이전까지 해결되지 않은 열린 문제였다. 유연한 제어(유량값을 갖는 과정)를 도입하고 스파이크 변량 대신 볼록 변량 방법을 사용함으로써, 유연한 제어 문제와 엄격한 제어 문제 모두에 대해 전역적인 필요 및 충분한 최적성 조건을 유도하였다. 이는 고전적 스토하스틱 최대원리를 비볼록 설정으로 확장한 것이다.

ABSTRACT

Stochastic maximum principle of nonlinear controlled forward-backward systems, where the set of strict (classical) controls need not be convex and the diffusion coefficient depends explicitly on the variable control, is an open problem impossible to solve by the classical method of spike variation. In this paper, we introduce a new approach to solve this open problem and we establish necessary as well as sufficient conditions of optimality, in the form of global stochastic maximum principle, for two models. The first concerns the relaxed controls, who are a measure-valued processes. The second is a restriction of the first to strict control problems.

연구 동기 및 목표

• 제어 도메인이 비볼록이고 확산 계수가 제어에 직접적으로 의존할 때 전진-후진 확률 시스템에 대한 최적 제어 문제를 해결한다.
• 이 비볼록, 제어에 의존하는 확산 설정에서 고전적 스파이크 변량 방법이 실패하는 이유를 극복한다.
• 유연한 제어(확률 측도값을 갖는 과정)를 사용한 새로운 프레임워크를 개발하여 볼록성을 복원하고 볼록 변량 기법의 적용을 가능하게 한다.
• 유연한 제어 및 엄격한 제어 문제 모두에 대해 전역 스토하스틱 최대원리 형태의 필요 및 충분한 최적성 조건을 도출한다.
• 유연한 제어 조건으로부터 엄격한 제어 조건을 유도함으로써 유연한 제어 문제와 엄격한 제어 문제 사이의 다리를 놓는다.

제안 방법

• 제어 집합 U 위의 시간에 따라 변하는 확률 측도로 구성된 새로운 유연한 제어 클래스를 도입하여, U 값을 갖는 엄격한 제어를 대체한다.
• 확률 측도 공간에서 안정 수렴의 위상으로 유연한 제어 공간을 정의함으로써 더 풍부한 볼록 구조를 확보한다.
• 스파이크 변량 대신 유연한 제어에 대해 볼록 변량 방법을 적용하여 필요 최적성 조건을 도출한다.
• 유연한 해밀토니안과 양방향 SDE로 구성된 고유변수 방정식을 정의한다. 이는 고유변수 과정(k, p, P)에 대한 시스템을 포함한다.
• 유연한 해밀토니안 부등식을 통한 필요 최적성 조건을 유도한다: 모든 q_t ∈ P(U)에 대해 거의확실하게 H̃(t, x, y, z, μ_t, k, p, P) ≤ H̃(t, x, y, z, q_t, k, p, P)이다.
• 유연한 제어를 Dirac 측도로 제한함으로써 엄격한 제어 최적성 조건을 복원하고, δ-사상(δ-maps)을 통해 유연한 제어와 엄격한 제어 공식화를 연결한다.

실험 결과

연구 질문

• RQ1 제어 도메인이 비볼록이고 확산 계수가 제어에 의존할 때 전진-후진 시스템에 대해 스토하스틱 최대원리를 수립할 수 있는가?
• RQ2 왜 고전적 스파이크 변량 방법은 이 비볼록, 제어에 의존하는 확산 설정에서 실패하는가?
• RQ3 유연한 제어 공간의 볼록성이, 고전적 방법이 실패하는 상황에서 필요 및 충분한 최적성 조건을 도출하는 데 기여할 수 있는가?
• RQ4 엄격한 제어의 최적성 조건은 어떻게 유연한 제어의 최적성 조건으로부터 도출할 수 있는가?
• RQ5 유연한 해밀토니안과 고유변수 방정식은 이 일반화된 설정에서 최적 제어를 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 비볼록 제어 도메인과 제어에 의존하는 확산 계수를 가진 전진-후진 시스템에 대해 일반적인 스토하스틱 최대원리가 수립되었으며, 오랫동안 남아있던 열린 문제를 해결했다.
• 유연한 제어의 필요 최적성 조건은 다음의 부등식으로 주어진다: 모든 q_t ∈ P(U)에 대해 거의확실하게 H̃(t, x, y, z, μ_t, k, p, P) ≤ H̃(t, x, y, z, q_t, k, p, P)이다.
• 엄격한 제어의 경우, 필요 최적성 조건은 모든 v_t ∈ U에 대해 거의확실하게 H(t, x^u, y^u, z^u, u_t, k^u, p^u, P^u) ≤ H(t, x^u, y^u, z^u, v_t, k^u, p^u, P^u)이다.
• 엄격한 제어의 충분한 최적성 조건은 g, h 및 해밀토니안 H가 (x,y,z)에 대해 볼록일 때 유도되며, U 또는 H가 v에 대해 볼록이 아니어도 된다.
• 최적의 엄격한 제어 u는 조건 (53)을 만족할 경우, δ(U) 위에서 유연한 비용 기능의 최소화와 연결됨으로써 U 위에서 비용 기능 J의 최소화를 보장한다.
• 유연한 제어의 볼록 구조를 활용함으로써, 이 프레임워크는 고전적 스토하스틱 최대원리를 비볼록 설정으로 성공적으로 일반화하였다.