[논문 리뷰] Stochastic maximum principle for equations with delay: the non-convex case

Giuseppina Guatteri, Federica Masiero|arXiv (Cornell University)|2018. 05. 21.

Stochastic processes and financial applications인용 수 5

한 줄 요약

이 논문은 상태에 점지연(pointwise delay)가 있고 제어에 의존하는 소음이 있는 방정식의 최적 제어를 위한 확률적 최대원리(stochastic maximum principle)를 수립한다. 제어 집합이 볼록이 아니어도 성립하며, 필요 최적성 조건을 유도하기 위해 일阶 및 이阶의 연역 후행 확률미분방정식(Backward Stochastic Differential Equations, BSDEs)을 도입한다. 이는 지배적인 푸앵트리지 원리(Pontryagin principle)를 지연 동역학이 있는 비볼록 설정으로 일반화한다.

ABSTRACT

In this paper we develop necessary conditions for optimality, in the form of the stochastic Pontryagin maximum principle, for controlled equations with pointwise delay in the state and with control dependent noise, in the general case of controls $u \in U$ with $U$ not necessarily convex. The maximum principle is formulated by means of first and second order adjoint BSDEs. We also outline how to deal with control problems with pointwise delay both in the state and in the control.

연구 동기 및 목표

• 상태에 점지연이 있는 제어된 확률미분방정식(stochastic differential equations)에 대해 확률적 푸앵트리지 최대원리를 확장하는 것.
• 고전적 최적성 조건의 적용 범위를 제한하는 제어 집합 U가 볼록이 아닐 경우를 다루는 것.
• 일阶 및 이阶의 연역 후행 확률미분방정식(Backward Stochastic Differential Equations, BSDEs)을 사용하여 필요 최적성 조건을 제시하는 것.
• 지연이 상태 변수뿐 아니라 제어 변수에도 포함되는 경우를 고려해 프레임워크를 일반화하는 것.

제안 방법

• 상태에 점지연이 있고 제어에 의존하는 확산 계수를 갖는 확률적 시스템에 대한 최적 제어 문제를 수립한다.
• 비용 기능에 대한 상태 변형에 대한 민감도를 캡처하기 위해 일阶 연역 BSDEs를 도입한다.
• 이阶 변동과 비볼록 제어 제약 조건을 고려하기 위해 이阶 연역 BSDEs를 유도한다.
• 비볼록 케이스에서 최적성의 필요 조건을 도출하기 위해 확률적 최대원리 프레임워크를 적용한다.
• 상태와 제어 양쪽에 지연이 존재하는 상황을 다루기 위해 연역 시스템의 구조를 적절히 확장한다.
• 변분 방법과 쌍대성 추론을 사용하여 제어 집합의 비볼록성 없이도 최적성 조건을 수립한다.

실험 결과

연구 질문

• RQ1 제어 집합이 비볼록일 경우 상태에 점지연이 있는 확률적 제어 시스템에 대해 필요 최적성 조건을 어떻게 도출할 수 있는가?
• RQ2 비볼록 제어 제약 조건 하에서 최적 제어를 특성화하는 데 있어 이阶 연역 BSDEs의 역할은 무엇인가?
• RQ3 상태 및 제어 변수 양쪽에 지연 효과가 존재할 경우 연역 방정식의 구조와 최대원리에 어떤 영향을 미치는가?
• RQ4 지연 시스템에서 비볼록 제어 집합으로의 확률적 최대원리의 확장은 가능한가?
• RQ5 지연이 상태와 제어 양쪽에 존재할 경우, 필요 최적성 조건을 유지하기 위해 연역 시스템에 어떤 수정이 필요한가?

주요 결과

• 논문은 제어 집합이 비볼록일지라도 상태에 점지연이 있고 제어에 의존하는 소음이 있는 제어된 확률미분방정식에 대해 확률적 최대원리를 수립한다.
• 필요 최적성 조건을 도출하기 위한 핵심 도구로 일阶 및 이阶의 연역 후행 확률미분방정식(Backward Stochastic Differential Equations, BSDEs)을 도입한다.
• 제어 집합의 볼록성 요구 조건 없이 최대원리를 제시함으로써, 비볼록 제어 문제에 대한 적용 범위를 넓힌다.
• 지연이 상태와 제어 변수 양쪽에 존재하는 경우를 다룰 수 있도록 프레임워크를 확장하여 통합적인 접근법을 제공한다.
• 유도된 최적성 조건은 필수적이며 연역 과정에 의해 표현되며, 후보 최적 제어의 검증이 가능하다.