[논문 리뷰] Stochastic Control on Space of Random Variables

Alain Bensoussan, P. Jameson Graber외 1명|arXiv (Cornell University)|2019. 03. 29.

Stochastic processes and financial applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 르부아의 리프팅 방법을 2차 적분 가능 랜덤 변수의 힐버트 공간 위에서의 확률적 제어로 확장하여, 평균장 유형 제어 문제와 랜덤 변수 공간 위의 확률적 제어 문제 사이의 연결 고리를 구축한다. Gâteaux 미분을 통해 HJB-FP 시스템을 유도하고, 가치 함수가 고전적 HJB-FP 방정식을 만족함을 증명하며, 벨만 방정식의 미분을 통해 마스터 방정식을 도출한다.

ABSTRACT

By extending \cite{bensoussan2015control}, we implement the proposal of Lions \cite{lions14} on studying mean field games and their master equations via certain control problems on the Hilbert space of square integrable random variables. In \cite{bensoussan2015control}, the Hilbert space could be quite general in the face of the "deterministic control problem" due to the absence of additional randomness; while the special case of $L^2$ space of square integrable random variables was brought in at the interpretation stage. The effectiveness of the approach was demonstrated by deriving Bellman equations and the first order master equations through control theory of dynamical systems valued in the Hilbert space. In our present problem for second order master equations, it connects with a stochastic control problem over the space of random variables, and it possesses an additional randomness generated by the Wiener process which cannot be detached from the randomness caused by the elements in the Hilbert space. Nevertheless, we demonstrate how to tackle this difficulty, while preserving most of the efficiency of the approach suggested by Lions \cite{lions14}.

연구 동기 및 목표

• Wiener 노이즈가 존재하는 확률적 경우로, 르부아가 랜덤 변수의 힐베르트 공간 위에서 제어를 통해 평균장 게임을 다루는 접근법을 확장한다.
• 랜덤 변수 공간 위의 가치 함수와 평균장 유형 제어를 위한 고전적 HJB-FP 시스템 사이의 엄밀한 연결 고리를 구축한다.
• 이 프레임워크에서 벨만 방정식을 미분함으로써 마스터 방정식을 형식적으로 도출할 수 있음을 보여준다.
• 힐베르트 공간 설정에서 Wiener 과정과 랜덤 변수의 법칙이 상호 얽혀 있는 난이도를 해결한다.

제안 방법

• 평균장 제어 문제를 2차 적분 가능 랜덤 변수의 힐베르트 공간으로 리프팅하여, 상태를 L²(Ω, F, P)의 원소로 간주한다.
• Wiener 과정에 의해 구동되고 제어에 의존하는 드리프트를 갖는 이 공간 위에서의 확률적 제어 문제를 정의한다.
• 확률적 미적분과 Gâteaux 미분을 적용하여 가치 함수에 대한 하밀토니안-자코비-벨만(HJB) 방정식을 도출한다.
• Envelope 정리와 쌍대성을 사용하여 가치 함수의 기울기와 쌍대 과정을 연결함으로써 최적 제어를 도출한다.
• 통제된 과정의 흐름을 분석하여 후행 측도에 대한 포크너-플랭크 방정식을 유도한다.
• 리프팅된 문제의 해가 최적 궤적을 따라 미분함으로써 마스터 방정식에 해당함을 확인함으로써, 가치 함수가 고전적 HJB-FP 시스템을 만족함을 보여준다.

실험 결과

연구 질문

• RQ1 평균장 게임의 마스터 방정식은 어떻게 랜덤 변수 공간 위의 확률적 제어 문제로부터 도출될 수 있는가?
• RQ2 상태 공간이 L²(Ω)일 때 Wiener 과정은 제어 문제에서 어떤 역할을 하는가?
• RQ3 랜덤 변수 공간 위의 가치 함수는 평균장 유형 제어를 위한 고전적 HJB-FP 시스템과 어떻게 관련이 있는가?
• RQ4 값 함수의 일阶 및 이阶 Gâteaux 미분을 통해 HJB 및 포크너-플랭크 방정식을 복원할 수 있는가?
• RQ5 랜덤 변수 공간 위의 가치 함수가 랜덤 변수의 법칙에만 의존하는 조건은 무엇인가?

주요 결과

• 랜덤 변수 공간 위의 가치 함수는 HJB-FP 시스템을 만족하며, HJB 방정식은 −∂u/∂s + Au + (1/(2λ))|Du|² = F(x, m(s))이고 종료 조건은 u(x,T) = F_T(x, m(T))이다.
• 후행 측도에 대한 포크너-플랭크 방정식은 ∂m/∂s + Am − (1/λ)div(mDu) = 0이며, 초기 조건은 m(x,t) = m(x)이다.
• 최적 제어는 u_xmt(s) = −(1/λ)z_xmt(s)로 주어지며, 여기서 z_xmt(s)는 최적 궤적 沿해 가치 함수의 기울기이다.
• 값 함수의 기울기는 D_x u_m(x,t) = D_x (∂V(m,t)/∂m)(x)를 만족하여, 마스터 방정식 프레임워크와의 일致를 확인한다.
• HJB-FP 방정식 시스템은 벨만 방정식의 미분을 통해 도출되며, 쌍대 과정 z_xmt(s)는 가치 함수의 도함수로 식별된다.
• L²(Ω) 위에서의 리프팅된 확률적 제어 문제의 해는 고전적 평균장 제어 방정식을 복원하며, 이는 이론적 리프팅 방법이 확률적 설정에서 유효함을 검증한다.