[논문 리뷰] Linear-Quadratic Optimal Control Problems for Mean-Field Stochastic Differential Equations --- Time-Consistent Solutions

Jiongmin Yong|arXiv (Cornell University)|2013. 04. 15.

Stochastic processes and financial applications참고 문헌 11인용 수 10

한 줄 요약

이 논문은 계수가 결정적인 평균장 확률미분방정식에서 선형-제곱형 최적제어 문제에 대해 시간에 일관된 해를 개발한다. 변분법과 다인 게임 이론을 활용하여 개방형 및 폐쇄형 평형 해를 도출하며, 폐쇄형 해에 대해 대칭 리카티 행렬방정식 체계를 수립하고, 볼테라 적분방정식과 기본 행렬 분석을 통해 해의 존재성과 유일성을 증명한다.

ABSTRACT

Linear-quadratic optimal control problems are considered for mean-field stochastic differential equations with deterministic coefficients. Time-inconsistency feature of the problems is carefully investigated. Both open-loop and closed-loop equilibrium solutions are presented for such kind of problems. Open-loop solutions are presented by means of variational method with decoupling of forward-backward stochastic differential equations, which lead to a Riccati equation system lack of symmetry. Closed-loop solutions are presented by means of multi-person differential games, the limit of which leads to a Riccati equation system with a symmetric structure.

연구 동기 및 목표

• 계수가 결정적인 평균장 확률미분방정식에서 선형-제곱형 최적제어 문제의 시간 비일관성 문제를 해결한다.
• 기본 LQ 제어에서 흔히 나타나는 동적 비일관성 문제를 피하기 위해 시간에 일관된 개방형 및 폐쇄형 평형 해를 개발한다.
• N인 게임의 극한을 통해 폐쇄형 해에 대한 대칭 리카티 방정식 체계를 수립한다.
• 볼테라 적분방정식과 기본 행렬 분석을 이용하여 유도된 리카티 체계의 해의 존재성과 유일성을 증명한다.
• 리카티 및 라플라스 유형 방정식의 행렬 해를 기반으로 평형 제어 및 가치 함수의 명시적 피드백 표현을 제공한다.

제안 방법

• 개방형 평형 해를 도출하기 위해 전진-역행 확률미분방정식(FBSDEs)을 분리하기 위해 변분법을 적용한다.
• N인 게임의 극한을 이용하여 폐쇄형 평형 해를 유도하며, 이는 대칭 리카티 방정식 체계로 이어진다.
• 폐쇄형 해의 대칭적 구조를 표현하기 위해 이중 매개변수 리카티 체계(Γ(s,t), Γ̂(s,t))를 도입한다.
• 이산 근사(Δ)의 수렴성을 확보하여 연속 해로의 수렴을 증명하며, 리프시츠 연속성과 유계성에 기반해 ΘΔ가 Θ로 균일 수렴함을 보인다.
• 기본 행렬 Φ(s;t)를 활용하여 폐쇄형 형태의 상태 과정을 표현함으로써 명시적 피드백 제어 표현을 가능하게 한다.
• 두 해의 차이를 연속 핵을 가지는 선형 동차 볼테라 적분방정식으로 환원함으로써 리카티 해의 유일성을 증명한다. 이는 해가 0임을 의미한다.

실험 결과

연구 질문

• RQ1 시간 비일관성 문제를 가진 평균장 SDE의 선형-제곱형 최적제어 문제는 어떻게 평형 해를 통해 해결할 수 있는가?
• RQ2 폐쇄형 평형 해를 특징짓는 리카티 방정식 체계의 구조는 어떠한가?
• RQ3 N인 게임의 극한은 평균장 설정에서 어떻게 대칭 리카티 체계로 이어지는가?
• RQ4 이 시간 비일관 프레임워크에서 평형 해의 존재성과 유일성을 보장하는 조건은 무엇인가?
• RQ5 평형 제어는 초기 조건 (t,x)에 독립적인 상태 피드백 형태로 표현될 수 있는가? 이는 리카티 해와 어떻게 관련이 있는가?

주요 결과

• 폐쇄형 평형 해는 N인 게임의 극한으로 유도된 대칭 리카티 방정식 체계 (Γ(s,t), Γ̂(s,t))로 특징지어진다.
• 평형 제어는 상태 피드백 형태로 표현 가능하다: u*(s) = -Θ(s)X*(s), 여기서 Θ(s)는 대칭 리카티 체계의 해로부터 유도된다.
• 가치 함수는 명시적으로 V(t,x) = ⟨P(t)x, x⟩로 주어지며, P(t) = Γ(t,t) 이므로 최적 비용의 이차형 표현이 보장된다.
• 리카티 체계의 해는 존재하고 유일하며, 연속 핵을 가지는 선형 동차 볼테라 적분방정식으로 환원함으로써 증명된다.
• 이산 근사(Δ)의 수렴은 시간에 대해 균일하게 확보되며, ∥ΘΔ(s) - Θ(s)∥ → 0 이다. 여기서 ∥Δ∥ → 0 이다.
• 기본 행렬 Φ(s;t)는 폐쇄형 동역학에 의해 구동되는 확률미분방정식을 만족하며, 이는 명시적 해 표현 X*(s) = Φ(s;t)x를 가능하게 한다.