[논문 리뷰] Mean-field optimal control and optimality conditions in the space of probability measures

Martin Burger, René Pinnau외 2명|arXiv (Cornell University)|2019. 02. 14.

Groundwater flow and contamination studies인용 수 4

한 줄 요약

이 논문은 확률측도로 규정되는 시스템을 대상으로 평균장 최적제어 프레임워크를 개발하며, 확률측도 공간에서 라그랑주 접근법을 통해 일阶 최적성 조건을 유도한다. 입자 수준의 최적제어와 평균장 최적제어 사이의 엄밀한 연결고리를 설정하고, 입자 수가 증가함에 따라 최적제어의 수렴 속도를 명시적으로 증명하며, $L^2$-기반 수치 방법의 타당성을 측도 공간의 양면과의 직접적 연결을 통해 정당화한다.

ABSTRACT

We derive a framework to compute optimal controls for problems with states in the space of probability measures. Since many optimal control problems constrained by a system of ordinary differential equations (ODE) modelling interacting particles converge to optimal control problems constrained by a partial differential equation (PDE) in the mean-field limit, it is interesting to have a calculus directly on the mesoscopic level of probability measures which allows us to derive the corresponding first-order optimality system. In addition to this new calculus, we provide relations for the resulting system to the first-order optimality system derived on the particle level, and the first-order optimality system based on $L^2$-calculus under additional regularity assumptions. We further justify the use of the $L^2$-adjoint in numerical simulations by establishing a link between the adjoint in the space of probability measures and the adjoint corresponding to $L^2$-calculus. Moreover, we prove a convergence rate for the convergence of the optimal controls corresponding to the particle formulation to the optimal controls of the mean-field problem as the number of particles tends to infinity.

연구 동기 및 목표

• 확률측도 공간에 있는 상태를 갖는 최적제어 문제에 대해 일阶 최적성 체계를 개발하여 직접적인 수치적 구현을 가능하게 한다.
• 해밀턴ian 기반 접근법(예: 본트리아진 원리)과 평균장 근사에서의 라그랑주 기반 유도 간 격차를 메운다.
• 측도 공간의 양면과의 직접적 대응 관계를 확립함으로써, $L^2$-양면을 수치 시뮬레이션에서 사용하는 것의 엄밀한 정당성을 제시한다.
• 입자 수 $N \to \infty$일 때, $N$-입자 시스템에서 유도된 최적제어가 평균장 최적제어로 수렴하는 수렴 속도를 증명한다.

제안 방법

• 라그랑주 수식을 이용해 확률측도 공간에서 일阶 최적성 조건을 도출하며, 라그랑주 흐름의 직접적 사용을 피한다.
• 측도 공간에서의 쌍대 변수를 특징짓는 양면 시스템으로서의 운동량 방정식을 도입한다.
• 정규성 조건 하에 측도 공간의 양면과 고전적 $L^2$-양면 간의 직접적 연결을 확립한다.
• 측도 간 거리의 측정으로 $W_2$ 워샤프스키 거리를 사용하고, 상태 및 제어 변수에 대한 안정성 추정을 유도한다.
• 시간 도함수의 제곱 워샤프스키 거리에 대해 그론발의 부등식을 적용하여 안정성을 증명한다.
• 파인카레 부등식과 에너지 추정을 활용하여 $N \to \infty$일 때 최적제어의 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 평균장 최적제어 문제에 대해, 확률측도 공간에서 직접 일阶 최적성 조건을 어떻게 도출할 수 있는가?
• RQ2 측도 공간의 양면 변수와 표준 PDE 제약 최적화에서 사용되는 $L^2$-양면 간의 정확한 관계는 무엇인가?
• RQ3 유한 입자 시스템에서 유도된 최적제어는 어떻게 평균장 근사로 수렴하며, 그 수렴 속도는 무엇인가?
• RQ4 측도 공간에서의 라그랑주 접근법을 통해 기존의 해밀턴ian 및 $L^2$-기반 수식을 어떻게 정당화하고 통합할 수 있는가?
• RQ5 평균장 최적제어 문제의 최소화자가 유일해지는 조건은 무엇인가?

주요 결과

• 논문은 라그랑주 프레임워크를 활용해 확률측도 공간에서 일阶 최적성 체계를 수립하여 수치적 구현의 기초를 마련한다.
• 운동량 방정식이 양면 시스템으로 도출되어 측도 공간 내 쌍대 변수의 기하학적 및 분석적 특성을 제공한다.
• 측도 공간의 양면과 $L^2$-양면 간의 직접적 연결을 증명하여, 수치 시뮬레이션에서 $L^2$-미분법을 사용하는 것의 정당성을 제시한다.
• 적절한 정규성 및 안정성 조건 하에서, $N$-입자 시스템의 최적제어는 평균장 최적제어로 $\mathcal{O}(1/\sqrt{N})$ 속도로 수렴한다.
• 안정성 추정과 수렴 결과를 통해, 입자 및 평균장 문제의 최소화자가 동일한 조건 하에서 유일함을 입증한다.