[논문 리뷰] The Relaxed Stochastic Maximum Principle in the Mean-field Singular Controls

Liangquan Zhang|arXiv (Cornell University)|2012. 02. 19.

Stochastic processes and financial applications참고 문헌 17인용 수 7

한 줄 요약

이 논문은 상태와 그 기대값에 의존하는 동역학과 비용 기능을 가진 평균장 유형 SDE의 석연한 제어를 위한 느슨한 확률적 최대원리(Stochastic Maximum Principle)를 수립한다. 스파이크 변형과 에켈란드의 변분원리를 결합하여, 양방향 방정식과 변분부등식을 통해 측도값 제어에 대한 필요 최적성 조건을 유도하며, 고전적 확률적 최대원리를 시간에 비일관된 평균장 설정과 석연한 성분을 포함하는 경우로 확장한다.

ABSTRACT

In this paper, we study the optimal control system driven by stochastic differential equations (SDEs) of mean-field type, in which the control variable has two components, the first being absolutely continuous and the second singular. On the other hand, the coefficients depend on the state of the solution process as well as of its expected value. Moreover, the cost functional is also of mean field type. This makes the control problem time inconsistent in the sense that the Bellman optimality principle does not hold. Our aim is to derive a stochastic maximum principle of optimal control of Pontriagin type to the class of measure-valued controls.

연구 동기 및 목표

• 기대값에 의존하는 계수로 인해 벨만 원리가 실패하는 시간에 비일관된 평균장 SDE에서의 최적 제어 문제를 다루기 위해.
• 절대 연속 및 석연한 제어 성분을 포함하는 석연한 제어 문제로 확률적 최대원리를 확장하기 위해.
• 상태와 기대값 의존성을 갖는 평균장 맥락에서 측도값 제어(느슨한 제어)에 대한 필요 최적성 조건을 개발하기 위해.
• 상호작용하는 입자를 포함하는 시스템에서 평균장 SDE로 근사된 최적 제어의 프레임워크를 구축하기 위해.
• 기존의 석연한 제어 결과를 비볼록 제어 도메인에 특히 적용하여 평균장 설정으로 일반화하기 위해.

제안 방법

• 상태와 그 기대값에 의존하는 계수를 갖는 평균장 SDE를 구성하며, 이는 비드라이프, 확산 및 석연한 제어 성분을 포함한다.
• 비용 기능 또한 평균장 유형이어서 시간 비일관성이 발생하도록 구성한다.
• 절대 연속 제어에 대해 스파이크 변형을 적용하고, 석연한 제어에 대해 볼록 변형을 적용하여 일阶 필요 최적성 조건을 도출한다.
• 에켈란드의 변분원리를 사용하여 엄격한 제어가 느슨한 제어로 수렴할 때의 근사 최적성 조건을 도출한다.
• 제어 수렴에 따른 궤적과 양방향 과정의 안정성을 확보하여 느슨한 최대원리 유도를 가능하게 한다.
• 양방향 역행 SDE와 석연한 제어 성분에 대한 변분부등식을 포함하는 확률적 해밀토니안 시스템을 도출한다.

실험 결과

연구 질문

• RQ1 시간 비일관성으로 인해 벨만 원리가 실패하는 평균장 SDE에서 석연한 제어를 갖는 최적 제어 문제에 대해 필요 최적성 조건을 어떻게 도출할 수 있는가?
• RQ2 측도값 제어를 갖는 평균장 석연한 제어 문제 맥락에서 양방향 역행 SDE의 구조는 어떻게 되는가?
• RQ3 평균장 SDE의 느슨한 제어 프레임워크 하에서 최적 제어와 양방향 과정은 어떻게 상호작용하는가?
• RQ4 평균장 석연한 제어 설정에서 양방향 과정의 존재성과 유일성을 보장하는 조건은 무엇인가?
• RQ5 석연한 제어에 대한 변분부등식 조건은 해밀토니안과 양방향 변수의 관점에서 어떻게 특성화할 수 있는가?

주요 결과

• 논문은 평균장 석연한 제어 문제에 대한 느슨한 확률적 최대원리를 수립하며, 해밀토니안 시스템을 통해 필요 최적성 조건을 제공한다.
• 최적 제어는 해밀토니안에 대해 제어 집합 전체에서 최소화 조건을 만족하며, 이는 제어 값과 측도값 제어에 대한 최소화로 표현된다.
• 양방향 과정은 상태와 그 기대값에 의해 구동되는 후행 확률적 미분방정식(BSDE)를 만족하여 정방향 평균장 SDE와 일관성을 확보한다.
• 석연한 제어 성분은 양방향 과정과 제어의 점프 성분을 포함하는 변분부등식을 만족하며, 해밀토니안 증분의 음성 부여를 보장한다.
• 엄격한 제어가 느슨한 제어로 수렴하는 것은 궤적과 양방향 과정의 안정성에 의해 확보되어 느슨한 원리의 유도를 가능하게 한다.
• 결과적으로 고전적 확률적 최대원리를 석연한 제어를 포함하는 평균장 설정으로 일반화하였으며, 특히 비볼록 제어 도메인에서의 적용에 유용하다.