[논문 리뷰] On the Optimal Rate for the Convergence Problem in Mean Field Control

Samuel Daudin, François Delarue외 1명|arXiv (Cornell University)|2023. 05. 15.

Bone and Joint DiseasesMedicine인용 수 3

한 줄 요약

이 논문은 국한된 정규성 조건이 만족되지 않을 경우, 즉 값 함수가 미분 가능하지 않거나 유일하지 않을 경우 평균장 제어 시스템의 최적 수렴 속도를 확립한다. 특히, 힐버트 공간의 푸리에 모드에서 초수(convolution)를 이용한 새로운 매끄럽게 만드는 기법을 도입함으로써, 높은 정규성 조건 하에서는 $N^{-1/2}$, 리프시츠 및 준볼록 조건 하에서는 $N^{-2/(3d+6)}$의 날카운 수렴 속도를 도출한다. 이는 비제어 시스템의 알려진 최적 속도와 상수 인자 수준에서 일치한다.

ABSTRACT

The goal of this work is to obtain optimal rates for the convergence problem in mean field control. Our analysis covers cases where the solutions to the limiting problem may not be unique nor stable. Equivalently the value function of the limiting problem might not be differentiable on the entire space. Our main result is then to derive sharp rates of convergence in two distinct regimes. When the data is sufficiently regular, we obtain rates proportional to $N^{-1/2}$, with $N$ being the number of particles. When the data is merely Lipschitz and semi-concave with respect to the first Wasserstein distance, we obtain rates proportional to $N^{-2/(3d+6)}$. Noticeably, the exponent $2/(3d+6)$ is close to $1/d$, which is the optimal rate of convergence for uncontrolled particle systems driven by data with a similar regularity. The key argument in our approach consists in mollifying the value function of the limiting problem in order to produce functions that are almost classical sub-solutions to the limiting Hamilton-Jacobi equation (which is a PDE set on the space of probability measures). These sub-solutions can be projected onto finite dimensional spaces and then compared with the value functions associated with the particle systems. In the end, this comparison is used to prove the most demanding bound in the estimates. The key challenge therein is thus to exhibit an appropriate form of mollification. We do so by employing sup-convolution within a convenient functional Hilbert space. To make the whole easier, we limit ourselves to the periodic setting. We also provide some examples to show that our results are sharp up to some extent.

연구 동기 및 목표

• 제어 시스템의 국한된 값 함수가 미분 가능하지 않거나 유일하지 않을 경우 발생하는 수렴 문제를 해결하기 위해.
• 최소한의 정규성 가정 하에서 입자 시스템이 평균장 극한을 근사할 때의 날카운 최적 수렴 속도를 도출하기 위해.
• 와서르슈타인 공간에서 힐베르트-자코비-벨리만 방정식의 비전통적 해를 정규화할 수 있는 새로운 매끄럽게 만드는 방법을 개발하기 위해.
• 유도된 속도 $N^{-2/(3d+6)}$가 거의 최적임을 보이며, 유사한 정규성 조건 하에서 비제어 시스템의 알려진 최적 속도와 일치함을 보여주기 위해.
• 명시적 예시와 고전적 추정치와의 비교를 통해 결과의 날카움을 검증하기 위해.

제안 방법

• 저자들은 국한된 평균장 제어 문제의 값 함수를 매끄럽게 하기 위해 푸리에 계수의 함수해석학적 힐버트 공간 내에서 초수를 활용한다.
• 이 매끄럽게 만드는 과정는 확장된 무한차원 힐베르트-자코비 방정식의 거의 고전적 하부해를 생성한다.
• 매끄럽게 된 함수들은 유한차원 부분공간으로 푸리에 절단을 통해 투영되며, 이는 입자 시스템의 값 함수와의 비교를 가능하게 한다.
• 이 비교를 통해 수렴 추정치에서 가장 도전적인 경계를 도출하며, 이는 매끄럽게 된 하부해의 정규성과 안정성에 의존한다.
• 기능적 해석적 프레임워크를 단순화하고 잘 정의된 푸리에 표현을 보장하기 위해, 토러스 $\mathbb{T}^d$ 상의 주기적 설정으로 제한된다.
• 핵심 기술 도구는 $\mathcal{B}_n$ 내에서 컴acts한 지지집합을 가지는 매끄러운 커널 $\rho_n$를 사용함으로써 $\Phi^{\eta,n}$가 무한히 미분 가능하고 $m$에 대해 연속적으로 미분 가능함을 보장하는 것이다.

실험 결과

연구 질문

• RQ1 값 함수가 미분 가능하지 않을 경우 평균장 제어의 최적 수렴 속도는 무엇인가?
• RQ2 평균장 설정에서 힐베르트-자코비-벨리만 방정식의 비연속 해를 정규화할 수 있는 매끄럽게 만드는 기법을 설계할 수 있는가?
• RQ3 수렴 속도는 데이터의 정규성, 특히 첫 번째 와서르슈타인 거리에 대한 리프시츠 및 준볼록 조건에서 어떻게 달라지는가?
• RQ4 유도된 속도 $N^{-2/(3d+6)}$는 날카로운가? 그리고 유사한 정규성 조건 하에서 비제어 시스템의 알려진 속도와 어떻게 비교되는가?
• RQ5 매끄럽게 만드는 방법이 힐베르트-자코비 방정식의 구조를 유지하면서 유한입자 시스템과의 효과적인 비교를 가능하게 할 수 있는가?

주요 결과

• 데이터의 높은 정규성 조건 하에서는 수렴 속도가 $N^{-1/2}$이며, 이는 부드러운 문제에 대한 고전적 속도와 일치한다.
• 데이터가 첫 번째 와서르슈타인 거리에 대해 리프시츠 및 준볼록 조건을 만족할 경우, 수렴 속도는 $N^{-2/(3d+6)}$이다.
• 지수 $2/(3d+6)$는 점점 $1/d$에 가까워지며, 이는 유사한 정규성 조건 하에서 비제어 입자 시스템의 알려진 최적 속도이다.
• 푸리에-힐베르트 공간의 초수를 통한 매끄럽게 만드는 방법은 정규화된 값 함수가 매끄럽고, 이를 통해 끝없이 유한차원 입자 시스템의 값 함수와 효과적으로 비교할 수 있음을 보장한다.
• 이 방법은 수렴 추정치에서 가장 도전적인 경계를 새롭게 확립하며, 거의 고전적인 하부해를 구성하는 데 의존한다.
• 논문은 유도된 속도가 상수 인자 수준에서 날카로움을 보여주는 예시를 제공하며, 주어진 가정 하에서 결과의 최적성은 확인된다.