[논문 리뷰] Open-Loop and Closed-Loop Solvabilities for Stochastic Linear Quadratic Optimal Control Problems

Jingrui Sun, Xun Li외 1명|arXiv (Cornell University)|2015. 08. 10.

Stochastic processes and financial applications참고 문헌 17인용 수 10

한 줄 요약

이 논문은 확률적 선형 제곱(LQ) 최적 제어 문제에서 개방 루프와 폐쇄 루프 해법 가능성의 차이를 규명하며, 폐쇄 루프 해법 가능성은 리카티 방정식의 해법 가능성과 비용 기능의 균일한 볼록성에 의해 요구되며, 개방 루프 해법 가능성은 최소화 수열의 수렴에 의해 특징지어진다. 주요 기여는 제어 가중치 행렬 $ R(s) $ 가 정의되지 않은 경우에도 LQ 문제의 유한성과 해법 가능성 유지 조건을 엄밀하게 분석한 것으로, 폐쇄 루프 해법 가능성은 개방 루프 해법 가능성을 함의하지 않는다는 반례를 제시한다.

ABSTRACT

This paper is concerned with a stochastic linear quadratic (LQ, for short) optimal control problem. The notions of open-loop and closed-loop solvabilities are introduced. A simple example shows that these two solvabilities are different. Closed-loop solvability is established by means of solvability of the corresponding Riccati equation, which is implied by the uniform convexity of the quadratic cost functional. Conditions ensuring the convexity of the cost functional are discussed, including the issue that how negative the control weighting matrix-valued function R(s) can be. Finiteness of the LQ problem is characterized by the convergence of the solutions to a family of Riccati equations. Then, a minimizing sequence, whose convergence is equivalent to the open-loop solvability of the problem, is constructed. Finally, an illustrative example is presented.

연구 동기 및 목표

• 확률적 선형 제곱(LQ) 최적 제어 문제에서 개방 루프와 폐쇄 루프 해법 가능성의 차이를 명확히 하기.
• 제어 가중치 행렬 $ R(\bullet) $ 가 정의되지 않은 경우에도 LQ 문제가 여전히 유한하고 해법 가능해지는 조건을 설정하기.
• 최소화 수열의 수렴을 통해 개방 루프 해법 가능성의 특징을 규명하기.
• 비용 기능의 균일한 볼록성 하에서, 폐쇄 루프 해법 가능성은 관련 리카티 방정식의 해법 가능성과 동치임을 보여주기.

제안 방법

• 일반 계수를 가진 확률적 LQ 문제에 대해 개방 루프 및 폐쇄 루프 해법 가능성의 개념을 도입하기.
• 폐쇄 루프 해법 가능성은 리카티 방정식을 통해 특징지우며, 그 해법 가능성은 폐쇄 루프 최적성의 함의를 보여준다.
• 비용 기능의 균일한 볼록성이 리카티 방정식의 해법 가능성과 따라서 폐쇄 루프 해법 가능성의 보장을 보장함을 확립한다.
• 최소화 수열의 수렴이 개방 루프 해법 가능성과 동치인 제어 수열을 구성한다.
• 정규화 파rameter $ \varepsilon \to 0 $ 으로 갈수록 리카티 방정식의 해의 수렴을 통해 LQ 문제의 유한성을 분석한다.
• 문제가 개방 루프로 해법 가능하지만 폐쇄 루프로 해법 가능하지 않은 반례를 제공하여 두 개념 간의 차이를 부각한다.

실험 결과

연구 질문

• RQ1 제어 가중치 행렬 $ R(s) $ 가 정의되지 않은 경우, 확률적 선형 제곱 최적 제어 문제의 개방 루프 해법 가능성은 어떤 조건에서 성립하는가?
• RQ2 확률적 LQ 문제에서 개방 루프 해법 가능성과 폐쇄 루프 해법 가능성 간의 정밀한 관계는 무엇인가?
• RQ3 리카티 방정식의 해법 가능성은 폐쇄 루프 해법 가능성과 어떻게 관련되며, 그 해법 가능성 보장을 위한 조건은 무엇인가?
• RQ4 R(s) 가 부정적일 경우 비용 기능이 여전히 유한하고 문제의 해법 가능성이 유지될 수 있는가, 만약 가능하다면 어떤 조건에서 가능한가?
• RQ5 가족 형태의 리카티 방정식 해의 수렴이 LQ 문제의 유한성 특징화에 어떤 역할을 하는가?

주요 결과

• 문제는 유일하게 관련 리카티 방정식이 해법 가능할 경우에만 폐쇄 루프 해법 가능하며, 이는 비용 기능의 균일한 볼록성에 의해 유도된다.
• 행렬 $ Q(s) - S(s)^T R(s)^{-1} S(s) $ 가 음이 아닌 정부호일 경우 비용 기능은 균일하게 볼록해지며, 이는 $ R(s) $ 가 정의되지 않은 경우에도 성립한다.
• LQ 문제의 유한성은 정규화 파rameter $ \varepsilon \to 0 $ 으로 갈수록 리카티 방정식의 해의 수렴 여부에 의해 특징지워진다.
• 개방 루프 해법 가능성은 최소화 수열의 수렴과 동치이며, 본 논문에서 이 수열은 명시적으로 구성되어 있다.
• 개방 루프 해법 가능하지만 폐쇄 루프 해법 가능하지 않은 반례가 제시되어 두 개념이 서로 다름을 입증한다.
• $ \varepsilon \to 0 $ 의 극한에서, 정규화된 문제의 가치 함수는 $ t < 1 $ 에서 $ V^0(t,x) = 0 $ 으로 수렴하고, $ V^0(1,x) = x^2 $ 로 수렴하여 원래 문제의 유한성과 개방 루프 해법 가능성을 확인한다.