[논문 리뷰] Equilibrium controls in time inconsistent stochastic linear quadratic problems

Tianxiao Wang|arXiv (Cornell University)|2018. 02. 04.

Stochastic processes and financial applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 마코프 동역학 하에서 시간 비일관성 있는 스토하스틱 선형 제곱(SLQ) 제어 문제에서, 닫힘 루프 균형 제어, 열린 루프 균형 제어, 그리고 그들의 닫힘 루프 표현이라는 세 가지 개념을 통합된 변분 방법으로 특성화한다. 주요 기여는 리카티 유형의 방정식과 필요 최적성 조건을 통한 균형 제어의 엄밀한 특성화로, 이는 세 제어 유형 간의 깊이 있는 구조적 차이를 드러내며, 특히 시간 일관성 설정에서는 열린 루프 균형 제어가 표준 최적 제어로 축소되고, 닫힘 루프 균형 제어가 닫힘 루프 최적 제어와 일치함을 보여준다.

ABSTRACT

This paper deals with a class of time inconsistent stochastic linear quadratic (SLQ) optimal control problems in Markovian framework. Three notions, i.e., closed-loop equilibrium controls/strategies, open-loop equilibrium controls and their closed-loop representations, are characterized in unified manners. These results indicate clearer and deeper distinctions among these notions. For example, in particular time consistent setting, the open-loop equilibrium controls are fully characterized by first-order, second-order necessary optimality conditions, and become needlessly optimal, while the closed-loop equilibrium controls naturally reduce into closed-loop optimal controls.

연구 동기 및 목표

• 기존 최적 제어가 시간이 지남에 따라 최적성을 유지하지 못하는 시간 비일관성 있는 스토하스틱 선형 제곱(SLQ) 제어 문제를 다루기 위해.
• 닫힘 루프, 열린 루프, 그리고 그들의 닫힘 루프 표현이라는 세 가지 다른 균형 제어 개념의 특성화를 통합하기 위해.
• 체계적인 변분 프레임워크를 통해 이러한 균형 제어 유형 간의 본질적 차이를 명확히 하기 위해.
• 리카티 방정식과 일阶 및 이阶 최적성 조건을 사용하여 균형 제어의 필요 및 충분 조건을 수립하기 위해.

제안 방법

• 상태 및 제어 동역학이 SDE로 제어되고, 조건부 기대를 포함하는 수정된 비용 기능을 갖는 마코프 프레임워크에서 SLQ 문제를 수립한다.
• 제어를 변형하고 일阶 및 이阶 변동을 분석하여, 균형 제어의 필요 및 충분 조건을 도출하기 위해 변분 접근법을 도입한다.
• 상태 및 제어 과정을 피드백 형태로 연결하는 연립 리카티 방정식의 시스템을 유도한다.
• 균형 조건이 해밀토니안과 이阶 항을 포함하는 이차형식의 음이 아닌 성질과 동치임을 확립한다.
• 닫힘 루프 표현의 개념을 사용하여 열린 루프 균형 제어를 피드백 전략과 연결함으로써 통합적 접근을 가능하게 한다.
• 게임 이론적 프레임워크에서 스토하스틱 최대 원리와 동적 프ogramming 원리를 적용하여 균형 조건을 유도한다.

실험 결과

연구 질문

• RQ1 시간 비일관성 있는 SLQ 문제에서 닫힘 루프 및 열린 루프 균형 제어는 어떻게 체계적으로 구분되고 특성화될 수 있는가?
• RQ2 마코프 설정에서 열린 루프 균형 제어와 그들의 닫힘 루프 표현 간의 정확한 관계는 무엇인가?
• RQ3 닫힘 루프 균형 제어가 표준 닫힘 루프 최적 제어로 축소되는 조건은 무엇인가?
• RQ4 일阶 및 이阶 최적성 조건은 균형 제어의 구조를 어떻게 규정하는가?
• RQ5 비용 기능에 조건부 기대가 포함된 상황에서 리카티 방정식은 균형 전략을 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 열린 루프 균형 제어가 일阶 및 이阶 필요 최적성 조건에 의해 완전히 특성화되며, 시간 일관성 설정에서는 표준 최적 제어로 축소됨을 입증한다.
• 시간 일관성 설정에서 닫힘 루프 균형 제어가 닫힘 루프 최적 제어와 일치함을 보여주며, 피드백 전략 하에서의 일致성과 최적성 확인된다.
• 닫힘 루프 전략의 균형 조건은 해밀토니안과 이阶 항을 포함하는 이차형식의 음이 아닌 성질과 동치이며, 국소 최적성을 보장한다.
• 균형 피드백 제어 법칙을 특성화하는 연립 리카티 방정식의 시스템을 도출하였으며, 이는 해가 피드백 행렬과 애फ인 항을 결정한다.
• 열린 루프 균형 제어의 닫힘 루프 표현을 명시적으로 구성하였으며, 이러한 제어가 상태의 피드백 함수로 표현될 수 있음을 드러냈다.
• 분석을 통해 균형 제어 전략이 관련 리카티 시스템이 잘 정의되고 해가 필요한 양성 조건을 만족하는 한, 초기 상태의 변동에 대해 강건함을 확인하였다.