[논문 리뷰] Stochastic LQ and Associated Riccati equation of PDEs Driven by State-and Control-Dependent White Noise

Ying Hu, Shanjian Tang|arXiv (Cornell University)|2018. 09. 14.

Stochastic processes and financial applications참고 문헌 11인용 수 5

한 줄 요약

이 논문은 상태 및 제어에 의존하는 공간-시간 백색 잡음에 의해 구동되는 선형-정수형(LQ) 스토케스틱 최적 제어 문제에서 발생하는 리카티 및 르아프노프 방정식에 대해 최초로 잘 정의된 결과를 확립한다. 최적 제어는 관련 리카티 방정식의 해로부터 유도된 특이 피드백 법칙임을 증명하고, 영 제어 가능성(null controllability)이 특이 종단 조건을 갖는 해의 존재와 동치임을 보이며, 제어된 앤더슨 모델을 통해 이를 시각화한다.

ABSTRACT

The optimal stochastic control problem with a quadratic cost functional for linear partial differential equations (PDEs) driven by a state-and control-dependent white noise is formulated and studied. Both finite-and infinite-time horizons are considered. The multi-plicative white noise dynamics of the system give rise to a new phenomenon of singularity to the associated Riccati equation and even to the Lyapunov equation. Well-posedness of both Riccati equation and Lyapunov equation are obtained for the first time. The linear feedback coefficient of the optimal control turns out to be singular and expressed in terms of the solution of the associated Riccati equation. The null controllability is shown to be equivalent to the existence of the solution to Riccati equation with the singular terminal value. Finally, the controlled Anderson model is addressed as an illustrating example.

연구 동기 및 목표

• 상태 및 제어에 의존하는 공간-시간 백색 잡음에 의해 구동되는 SPDE에 대한 무한차원 선형-정수형 최적 스토케스틱 제어 문제를 수립하고 해결한다.
• 곱셈형 백색 잡음 역학으로 인해 발생하는 새로운 특이성(특이성)을 갖는 관련 리카티 및 르아프노프 방정식을 다룬다.
• 특이 종단 조건 하에서 리카티 방정식의 해가 존재하고 유일함을 증명한다.
• 최적 제어가 리카티 방정식의 해를 포함하는 피드백 법칙으로 특징지어짐을 규명한다.
• 영 제어 가능성(null controllability)이 특이 종단 조건을 갖는 리카티 방정식의 해 존재와 동치임을 증명한다.

제안 방법

• 상태 및 제어에 의존하는 계수를 갖는 원추형 브라운 운동에 의해 구동되는 SPDE에 대한 LQ 제어 문제를 수립한다.
• 르아프노프 및 리카티 방정식에서 ∑C_i^* P_s C_i의 무한합을 추정하기 위해 정방향 SPDE를 통한 새로운 표현을 도입한다.
• 리카티 방정식에 대해 준선형화 방법을 적용하여, t=0 및 t=T에서 특이 계수가 존재하더라도 해의 단조성과 수렴성을 증명한다.
• 에너지 등식을 도출하기 위해 새로운 절단 방법을 구축하여, 공간-시간 백색 잡음 존재 시 요시다 근사가 실패하는 문제를 극복한다.
• 리카티 방정식의 해를 이용해 피드백 형태로 최적 제어를 합성한다.
• 결과를 제어된 앤더슨 모델에 적용하여 구체적 예시로 검증하고, 조건을 확인하며 피드백 법칙을 유도한다.

실험 결과

연구 질문

• RQ1 상태 및 제어에 의존하는 공간-시간 백색 잡음에 의해 구동되는 SPDE와 관련된 리카티 방정식은 종단 시간에서 특이 계수가 존재함에도 불구하고 잘 정의되어 있는가?
• RQ2 피드백 계수가 특이함에도 불구하고, 이러한 시스템의 최적 제어가 리카티 방정식의 해를 통해 피드백 형태로 표현될 수 있는가?
• RQ3 영 제어 가능성과 특이 종단 조건을 갖는 리카티 방정식의 해 존재 사이의 정확한 관계는 무엇인가?
• RQ4 무한합 ∑C_i^* P_s C_i 가 힐베르트 공간에서 유계이지 않은 연산자를 유도할 경우, 르아프노프 방정식은 어떻게 해결할 수 있는가?
• RQ5 이론적 프레임워크는 다항 공간-시간 백색 잡음이 있는 SPDE의 표준 예인 제어된 앤더슨 모델에 성공적으로 적용될 수 있는가?

주요 결과

• 상태 및 제어에 의존하는 백색 잡음이 있는 SPDE에 대한 LQ 제어 문제와 관련된 리카티 방정식은 특이 종단 조건이 존재하더라도 잘 정의되어 있으며, [0,T)에서 유일한 온화한 해를 갖는다.
• 최적 제어는 특이 피드백 법칙임을 증명하였으며, u_t = -λ(t, P_t) * (R_t)^{-1} B_t^* P_t X_t 로 표현되며, 여기서 P_t 는 리카티 방정식의 해이다.
• 시스템의 영 제어 가능성은 종단 시간 T에서 특이 종단 조건을 갖는 리카티 방정식의 해 존재와 동치임을 증명하였다.
• 정방향 SPDE의 해를 통한 새로운 표현을 통해 르아프노프 방정식이 잘 정의되어 있음을 보였으며, 이는 ∑C_i^* P_s C_i 의 무한합 추정을 가능하게 한다.
• 제어된 앤더슨 모델은 구체적 예시로 성공적으로 다루었으며, 유계 및 가측 계수 하에서 이론을 적용하여 피드백 제어 법칙을 도출하였다.
• 시간 불변 계수의 경우 안정화 가능성 조건 하에서 대수적 리카티 방정식은 유일한 해를 갖으며, 이는 무한수렴 영역의 최적 피드백 제어를 합성하는 데 가능하게 한다.