[논문 리뷰] Bellman equation and viscosity solutions for mean-field stochastic control problem

Huyên Pham, Xiaoli Wei|arXiv (Cornell University)|2015. 12. 24.

Stochastic processes and financial applications참고 문헌 16인용 수 18

한 줄 요약

이 논문은 상태와 제어의 연합 분포에 따라 변하는 계수를 갖는 평균장 확률 제어 문제에 대해 동적 프rogramming 원리를 수립하고 벨만 방정식을 유도한다. 확률 측도에 대한 리온스 미분법과 측도 흐름에 대한 새로운 이토 공식을 사용하여, 점성해의 존재성과 유일성을 증명하고, 정규성 조건 하에서 개방형 제어와 피드백 제어의 가치함수 간의 동치성을 보여주며, 선형-제곱 문제에 대해 명시적 해를 제공한다.

ABSTRACT

We consider the stochastic optimal control problem of McKean-Vlasov stochastic differential equation where the coefficients may depend upon the joint law of the state and control. By using feedback controls, we reformulate the problem into a deterministic control problem with only the marginal distribution of the process as controlled state variable, and prove that dynamic programming principle holds in its general form. Then, by relying on the notion of differentiability with respect to pro\-bability measures recently introduced by P.L. Lions in [32], and a special It{ô} formula for flows of probability measures, we derive the (dynamic programming) Bellman equation for mean-field stochastic control problem, and prove a veri\-fication theorem in our McKean-Vlasov framework. We give explicit solutions to the Bellman equation for the linear quadratic mean-field control problem, with applications to the mean-variance portfolio selection and a systemic risk model. We also consider a notion of lifted visc-sity solutions for the Bellman equation, and show the viscosity property and uniqueness of the value function to the McKean-Vlasov control problem. Finally, we consider the case of McKean-Vlasov control problem with open-loop controls and discuss the associated dynamic programming equation that we compare with the case of closed-loop controls.

연구 동기 및 목표

• 상태와 제어의 연합 분포에 따라 변하는 계수를 갖는 평균장 확률 제어 문제에 대해 동적 프로그래밍 원리를 수립하는 것.
• 리온스의 측도에 대한 미분 개념을 사용하여 와서슈타인 공간의 측도에 대해 벨만 방정식을 도출하는 것.
• 맥케인-플라소프 제어 문제의 가치함수에 대해 점성성과 유일성을 증명하는 것.
• 개방형 제어와 피드백 제어 하의 가치함수를 비교하여, 정규성 조건 하에서 동치임을 보이는 것.
• 선형-제곱 평균장 제어 문제에 대해 명시적 해를 제공하고, 평균-분산 포트폴리오 선택 및 체계적 리스크 모델링에의 적용을 포함하는 것.

제안 방법

• 피드백 제어를 갖는 확률 제어 문제를, 제어 상태 변수로만 국한된 주변 분포를 사용하는 결정론적 제어 문제로 재구성하는 것.
• 제곱 적분 가능한 랜덤 변수 공간에 정의된 함수에 대해 리온스의 측도에 대한 미분 가능성을 적용하는 것.
• 측도 흐름에 대한 특수한 이토 공식을 사용하여 동적 프로그래밍 방정식의 무한소 형태를 도출하는 것.
• 와서슈타인 공간의 측도에서의 업그레이드된 점성해를 정의하고 분석하는 것.
• 유도된 해밀토니안과 가치함수의 구조를 사용하여 맥케인-플라소프 프레임워크에서의 검증 정리를 증명하는 것.
• 개방형 제어와 피드백 제어의 해밀토니안을 비교하여, 가측 선택과 연속성 가정 하에서 동일함을 보이는 것.

실험 결과

연구 질문

• RQ1 상태-제어 연관 의존성을 갖는 평균장 확률 제어 문제에 대해 일반 형태의 동적 프로그래밍 원리가 성립하는가?
• RQ2 와서슈타인 공간에서의 측도 도함수와 확률 미분법을 사용하여 맥케인-플라소프 SDE에 대해 벨만 방정식을 엄밀히 도출할 수 있는가?
• RQ3 평균장 제어 문제에서 개방형 제어와 피드백 제어의 가치함수는 어떤 조건에서 일치하는가?
• RQ4 측도 공간에서의 벨만 방정식에 대해 점성해는 어떻게 정의되고 특성화될 수 있는가?
• RQ5 선형-제곱 평균장 제어 문제에 대해 어떤 명시적 해가 존재하며, 포트폴리오 선택과 체계적 리스크에 어떻게 적용되는가?

주요 결과

• 피드백 제어를 갖는 평균장 확률 제어 문제에 대해 일반 형태의 동적 프로그래밍 원리가 성립하며, 이는 주변 분포만을 상태 변수로 사용하는 결정론적 재구성 가능함을 보여준다.
• 리온스의 측도에 대한 도함수와 측도 흐름에 대한 특수한 이토 공식을 사용하여, 와서슈타인 공간에서의 해밀턴-자코비-벨리만 방정식으로 이어지는 벨만 방정식이 도출된다.
• 유도된 벨만 방정식에 대해 가치함수가 점성해로서 존재하고 유일함이 증명되어 제어 문제의 잘 정의됨을 보장한다.
• 선형-제곱 평균장 제어 문제에 대해 명시적 해가 도출되었으며, 이는 평균-분산 포트폴리오 선택과 체계적 리스크 모델링에 응용된다.
• 정규성 및 연속성 조건 하에서 개방형 제어와 피드백 제어의 가치함수는 일치하며, 가측 선택에 의해 개방형 사례의 해밀토니안은 피드백 사례의 해밀토니안으로 축소됨을 보여준다.
• 검증 정리가 확립되었으며, 적절한 정규성 조건을 갖는 벨만 방정식의 매끄러운 해가 진짜 가치함수임을 확인한다.