[논문 리뷰] Viscosity Solutions to Master Equations and McKean-Vlasov SDEs with Closed-loop Controls

Cong Wu, Jianfeng Zhang|arXiv (Cornell University)|2018. 05. 07.

Stochastic processes and financial applications인용 수 1

한 줄 요약

이 논문은 매킨-브라운 SDE와 폐루프 제어를 포함한 제어 문제에서 포물형 마스터 방정식에 대한 새로운 점성 해법 프레임워크를 제안한다. 이는 반정적 마틴갈 측도를 통한 컴팩턴스 활용에 기반한다. 잘 정의됨을 입증하고, 두피르의 기능적 이토 공식을 경로 의존적 설정으로 확장하여, 복잡한 측도 의존성 정규성과 관련된 가치 함수 분석을 가능하게 한다.

ABSTRACT

The master equation is a type of PDE whose state variable involves the distribution of certain underlying state process. It is a powerful tool for studying the limit behavior of large interacting systems, including mean field games and systemic risk. It also appears naturally in stochastic control problems with partial information and in time inconsistent problems. In this paper we propose a novel notion of viscosity solution for parabolic master equations, arising mainly from control problems, and establish its wellposedness. Our main innovation is to restrict the involved measures to certain set of semimartingale measures which satisfy the desired compactness. As an important example, we study the HJB master equation associated with the control problems for McKean-Vlasov SDEs. Due to practical considerations, we consider closed-loop controls. It turns out that the regularity of the value function becomes much more involved in this framework than the counterpart in the standard control problems. Finally, we build the whole theory in the path dependent setting, which is often seen in applications. The main result in this part is an extension of Dupire \cite{Dupire}'s functional Ito formula. This Ito formula requires a special structure of the derivatives with respect to the measures, which was originally due to Lions \cite{Lions4} in the state dependent case. We provided an elementary proof for this well known result in the short note \cite{WZ}, and the same arguments work in the path dependent setting here.

연구 동기 및 목표

• 폐루프 제어를 포함한 평균장 제어 문제에서 발생하는 포물형 마스터 방정식의 잘 정의됨을 다루기 위해.
• 오픈루프 설정에 비해 폐루프 프레임워크에서 가치 함수의 정규성 요구 수준이 높아지는 문제를 해결하기 위해.
• 리온스의 프레임워크에 기반하여, 경로 의존적 설정에서 측도 의존성 도함수를 포함한 두피르의 기능적 이토 공식을 경로 의존적 설정으로 확장하기 위해.
• 경로 의존적 및 부분 정보 설정에서 마스터 방정식에 대한 점성 해법 이론을 수립하기 위해.
• 유리한 분석적 성질을 지닌 반정적 마틴갈 측도 클래스로 측도를 제한하여 컴팩턴스와 해법 가능성 확보하기 위해.

제안 방법

• 분포 상태 변수를 포함한 제어 문제에서 포물형 마스터 방정식에 특화된 새로운 점성 해법의 개념을 도입한다.
• 존재성과 유일성 결과를 확보하기 위해 컴팩턴스를 보장하기 위해 측도 집합을 반정적 마틴갈 측도로 제한한다.
• 폐루프 제어 하에서 매킨-브라운 SDE의 HJB 마스터 방정식에 이 이론을 적용한다. 여기서 가치 함수의 정규성은 훨씬 더 복잡하다.
• 측도 의존성 도함수를 포함한 경로 의존적 설정으로 두피르의 기능적 이토 공식을 확장한다. 이는 측도에 대한 도함수의 특정 구조가 필요하다.
• 경로 의존적 과정에 대해 리온스의 측도 도함수 프레임워크를 적응하여, 핵심 도함수 구조에 대한 간단한 증명을 제공한다.
• 경로 의존적 및 측도 의존적 동역학과 호환되는 기능적 이토 미적분 프레임워크를 개발한다. 이는 부분 정보를 고려한 확률 제어에 있어 핵심적이다.

실험 결과

연구 질문

• RQ1 폐루프 제어와 분포 상태를 포함한 제어 문제에서 포물형 마스터 방정식에 대해 점성 해법을 어떻게 정의할 수 있는가?
• RQ2 이러한 제어 문제에서 마스터 방정식의 잘 정의됨을 확보하기 위해 어떤 측도 클래스가 충분한 컴팩턴스를 제공하는가?
• RQ3 폐루프와 오픈루프 맥킨-브라운 제어 프레임워크 간 가치 함수의 정규성 차이는 무엇인가?
• RQ4 측도 의존성 도함수를 포함한 경로 의존적 설정으로 두피르의 기능적 이토 공식을 확장할 수 있는가?
• RQ5 경로 의존적 설정에서 기능적 이토 공식을 위해 필요한 및 충분한 측도 도함수의 구조적 조건은 무엇인가?

주요 결과

• 매킨-브라운 SDE의 폐루프 제어 하에서 포물형 마스터 방정식에 대해 잘 정의된 새로운 점성 해법 개념을 제안한다.
• 반정적 마틴갈 측도의 사용은 점성 해법의 존재성과 유일성을 보장하기 위한 필수 컴팩턴스를 제공한다.
• 폐루프 제어에서 가치 함수는 오픈루프 설정에 비해 훨씬 더 복잡한 정규성을 보이며, 이는 정교한 해법 프레임워크가 필요하다.
• 측도 의존성 도함수를 포함한 경로 의존적 과정에 대해 두피르의 기능적 이토 공식을 확장하여, 리온스의 프레임워크를 일반화한다.
• 경로 의존적 설정에서 측도 도함수의 핵심 구조에 대한 간단한 증명을 제공하여 기존 결과와의 일관성을 확인한다.
• 이론은 완전히 경로 의존적 설정에서 발전되었으며, 부분 정보를 고려한 확률 제어 및 시간에 따라 일관되지 않은 문제에의 적용을 가능하게 한다.