[논문 리뷰] Characterization of Optimal Feedback for Stochastic Linear Quadratic Control Problems

Qi Lü, Tianxiao Wang외 1명|arXiv (Cornell University)|2016. 02. 29.

Stochastic processes and financial applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 랜덤 계수를 가진 확률적 선형 제곱(LQ) 제어 문제에서 최적 피드백 제어의 존재성과 해당하는 후방 확률 리카티 방정식(BSRE)의 해가 존재하는 것 사이의 동치성을 규명한다. 또한 결정론적 경우와의 핵심적 차이를 드러내며, SLQ 문제의 해가 존재하더라도 최적 피드백 제어가 존재하지 않을 수 있음을 반례를 통해 보여준다. 이는 피드백 연산자가 요구되는 공간에서 유계가 아닐 경우 발생한다.

ABSTRACT

One of the fundamental issues in Control Theory is to design feedback controls. It is well-known that, the purpose of introducing Riccati equations in the deterministic case is to provide the desired feedback controls for linear quadratic control problems. To date, the same problem in the stochastic setting is only partially well-understood. In this paper, we establish the equivalence between the existence of optimal feedback controls for the stochastic linear quadratic control problems with random coefficients and the solvability of the corresponding backward stochastic Riccati equations in a suitable sense. We also give a counterexample showing the nonexistence of feedback controls to a solvable stochastic linear quadratic control problem. This is a new phenomenon in the stochastic setting, significantly different from its deterministic counterpart.

연구 동기 및 목표

• 랜덤 계수를 가진 확률적 선형 제곱(SLQ) 제어 문제에서 최적 피드백 제어가 존재하는 조건을 명확히 하기.
• 최적 피드백 제어의 존재성과 관련된 후방 확률 리카티 방정식(BSRE)의 해 존재성 사이의 정확한 동치 관계를 수립하기.
• 확률적 제어와 결정론적 제어 간의 근본적 차이를 규명하고 설명하기: 문제의 해가 존재하더라도 피드백 제어가 존재하지 않을 수 있음.
• 피드백 연산자가 요구되는 함수 공간에서 유계가 아닐 수 있음을 보여주는 반례를 구성하기.

제안 방법

• 랜덤 계수를 가진 제어된 선형 확률 미분 방정식(SDE)과 이차 비용 기능을 사용하여 SLQ 문제를 수식화하기.
• 모어-펜로즈 의사역행렬을 포함하는 상태에 의존하는 계수를 가진 후방 확률 리카티 방정식(BSRE) 유도하기.
• 최적 피드백로 후보로 Θ(t) = −(R + DᵀPD)⁻¹(BᵀP + Dᵀ(PC + Λ)) 를 도입하기.
• 피드백 연산자가 $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R}^{m\times n})) $ 공간에서 적분 가능성과 유계성을 분석하여 그 적합성 판단하기.
• 특이한 확률 적분과 정지 시간을 사용하여 반례를 구성함으로써, 문제의 해가 존재하더라도 피드백 연산자가 유계가 아님을 보여주기.
• 반례에서 BSRE의 해를 확인하기 위해 확률 과정의 역함수에 이토의 공식을 적용하기.

실험 결과

연구 질문

• RQ1 랜덤 계수를 가진 확률적 선형 제곱 제어 문제에서 최적 피드백 제어가 존재하는 조건은 무엇인가?
• RQ2 후방 확률 리카티 방정식(BSRE)의 해 존재성이 확률적 설정에서 최적 피드백 제어의 존재성에 대해 충분하고 필수적인가?
• RQ3 결정론적 상황에서는 리카티 방정식의 해 존재성이 피드백 제어를 보장하지만, 왜 이 원칙이 확률적 경우에서는 성립하지 않는가?
• RQ4 해결 가능한 확률적 LQ 문제에서 최적 피드백 연산자가 존재하지 않을 수 있으며, 만약 그렇다면 어떤 조건에서 그러한 일이 발생하는가?

주요 결과

• SLQ 문제에서 최적 피드백 제어의 존재성은 적절한 함수 공간에서 해당하는 후방 확률 리카티 방정식(BSRE)의 해 존재성과 동치이다.
• 피드백 연산자 Θ(t)가 최적임은 BSRE의 해 (P, Λ)가 (P, Λ) ∈ $ L^{∞}_{\mathbb{F}}(0,T;\mathcal{S}(\mathbb{R}^{n})) \times L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathcal{S}(\mathbb{R}^{n}))) $ 를 만족할 때에만 성립한다.
• 반례로, SLQ 문제가 해가 존재하지만, 결과적으로 유도된 피드백 연산자 Θ(t) = −Y(t)⁻¹Z(t) 가 $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R})) $ 에 속하지 않아, 따라서 적합하지 않음을 보여준다.
• 반례는 특이한 비율을 가진 확률 적분과 정지 시간에 기반하여, Y(t)는 유계이지만 Z(t)는 본질적으로 유계가 아니므로 피드백 연산자의 적분 가능성 조건을 위반한다.
• 논문은 종단 조건 G = Y(T)⁻¹ − 1/4 가 Y(t)의 해를 유도함에 있어 Λ(t) ∝ Z(t) 가 $ L^{∞}_{\mathbb{F}}(\Omega;L^{2}(0,T;\mathbb{R})) $ 에 속하지 않음을 드러내며, 이는 피드백 연산자의 유효성을 무너뜨린다.
• 이러한 결과는 근본적인 차이를 드러낸다: 결정론적 경우와 달리, 해가 존재하는 SLQ 문제라도 확률적 성격과 피드백 연산자의 유계성 부족으로 인해 최적 피드백 제어를 포함하지 않을 수 있다.