[논문 리뷰] Control on Hilbert Spaces and Application to Mean Field Type Control Theory

Alain Bensoussan, P. Jameson Graber외 1명|arXiv (Cornell University)|2020. 05. 21.

Stochastic processes and financial applications인용 수 7

한 줄 요약

이 논문은 최적 운반 이론의 탄성 공간과 유사한 무한차원 공간으로 문제를 올림으로써, 평균장 유형 제어 문제를 해결하기 위한 새로운 힐버트 공간 기반 접근법을 제안한다. 이 구조상 고전적 제어 이론을 적용함으로써, 벨만 및 마스터 방정식의 분석을 단순화하는 프레임워크를 수립하였으며, 복잡도가 감소한 채 린스의 올림 방법의 장점을 유지하면서도 고전적 해를 복원한다.

ABSTRACT

We propose a new approach to studying classical solutions of the Bellman equation and Master equation for mean field type control problems, using a novel form of the lifting idea introduced by P.-L. Lions. Rather than studying the usual system of Hamilton-Jacobi/Fokker-Planck PDEs using analytic techniques, we instead study a stochastic control problem on a specially constructed Hilbert space, which is reminiscent of a tangent space on the Wasserstein space in optimal transport. On this Hilbert space we can use classical control theory techniques, despite the fact that it is infinite dimensional. A consequence of our construction is that the mean field type control problem appears as a special case. Thus we preserve the advantages of the lifiting procedure, while removing some of the difficulties. Our approach extends previous work by two of the coauthors, which dealt with a deterministic control problem for which the Hilbert space could be generic.

연구 동기 및 목표

• 힐버트 공간 기법을 사용하여 평균장 유형 제어 문제를 분석하기 위한 새로운 프레임워크를 개발하는 것.
• 평균장 제어에서 해밀턴-자코비/포커-플랑크 시스템에 대한 기존 분석 기법의 한계를 극복하는 것.
• 기존 올림 기반 접근법을 확률적 설정으로 확장하면서도 올림 절차의 장점을 유지하는 것.
• 평균장 제어 문제가 제안된 힐버트 공간 공식화 내에서 자연스럽게 특수 케이스로 나타남을 보여주는 것.

제안 방법

• 최적 운반 이론에서 워셔스타인 공간의 탄성 공간과 유사한 구조를 갖는 특수 설계된 힐버트 공간을 구축한다.
• 평균장 제어 문제를 이 무한차원 힐버트 공간 위의 확률적 제어 문제로 재구성한다.
• 무한차원이지만 고전적 제어 이론 기법을 직접 힐버트 공간에 적용한다.
• 올림 절차는 P.-L. 리옹스의 프레임워크에서 유도되었지만, 확률적 설정으로 확장되었다.
• 문제를 기하학적 구조에 통합함으로써 직접 연립 PDE 시스템을 분석하는 데서 회피한다. 이는 표준 제어 도구에 적합한 구조이다.
• 올림 방법이 유도하는 이점을 유지하면서도(예: 비선형 상호작용 단순화), 기술적 과제를 감소시킨다.

실험 결과

연구 질문

• RQ1 기존 PDE 기법에 의존하지 않고 평균장 유형 제어의 벨만 및 마스터 방정식을 어떻게 분석할 수 있는가?
• RQ2 평균장 제어 문제가 고전적 제어 이론의 특수 케이스로 나타나는 무한차원 공간에서의 힐버트 공간 공식화를 어떻게 구성할 수 있는가?
• RQ3 평균장 제어 이론에서 탄성 공간 유사 힐버트 공간을 사용할 때의 구조적 이점은 무엇인가?
• RQ4 제안된 올림 방법은 기존 접근법에 비해 분석을 어떻게 단순화하는가?
• RQ5 확률적 설정은 올림 절차의 적용 가능성과 구조에 어떤 영향을 미치는가?

주요 결과

• 제안된 힐버트 공간 공식화는 평균장 유형 제어 문제에 고전적 제어 이론 기법을 무한차원에서도 적용 가능하게 한다.
• 평균장 제어 문제가 새로운 프레임워크 내에서 자연스럽게 특수 케이스로 나타남을 입증하였으며, 올림 방법의 기하학적 직관을 유지한다.
• 직접 연립 해밀턴-자코비/포커-플랑크 PDE 시스템을 해결함에 따른 분석적 곤란을 피할 수 있다.
• 올림 구성은 리옹스의 원래 방법의 장점을 유지하면서도 확률적 설정으로 확장된다.
• 벨만 및 마스터 방정식의 고전적 해를 연구하는 데 있어 통합적인 시각을 제공하여 분석을 단순화한다.
• 기하학적 및 함수해석적 도구를 통해 평균장 제어 문제의 체계적이고 분석 가능성이 높은 분석을 가능하게 한다.