[論文レビュー] Mean-Field Pontryagin Maximum Principle

Mattia Bongini, Massimo Fornasier+2 more|arXiv (Cornell University)|Apr 9, 2015

Fluid Dynamics and Turbulent Flows参考文献 26被引用数 4

ひとこと要約

本稿は、ODEとVlasov型PDEを結合する最適制御問題に対して、離散的最適制御問題の$γ$-極限として得られる平均場Pontryagin最大原理（PMP）を確立する。一次の最適性条件は、Wasserstein空間におけるハミルトニアンフローの形で提示され、状態変数と随伴変数の前向き・後向きダイナミクスを含み、古典的PMPの構成的平均場極限を通じてスパース制御を明示的に計算する。

ABSTRACT

We derive a Maximum Principle for optimal control problems with constraints given by the coupling of a system of ODEs and a PDE of Vlasov-type. Such problems arise naturally as $Γ$-limits of optimal control problems subject to ODE constraints, modeling, for instance, external interventions on crowd dynamics. We obtain these first-order optimality conditions in the form of Hamiltonian flows in the Wasserstein space of probability measures with forward-backward boundary conditions with respect to the first and second marginals, respectively. In particular, we recover the equations and their solutions by means of a constructive procedure, which can be seen as the mean-field limit of the Pontryagin Maximum Principle applied to the discrete optimal control problems, under a suitable scaling of the adjoint variables.

研究の動機と目的

• 大規模な相互作用エージェント群をモデル化する、結合されたODEとVlasov型PDEを含む最適制御問題に対する一次の最適性条件の開発。
• 構造的性質がスケーリング下で保存されるように、離散的最適制御問題の$γ$-極限として平均場最適制御を特徴づける。
• 平均場モデルにおけるエージェントの同一性と制御のスパarsityの矛盾を、支持の小さいフィードバックによる制御定義により解決する。
• 随伴変数の適切なスケーリング下での限界手続きを通じて、古典的Pontryagin最大原理を平均場設定に拡張する。
• 状態変数と随伴変数の前向き・後向き境界条件を伴う、確率測度のWasserstein空間におけるハミルトニアンフローを導出する構成的フレームワークの提供。

提案手法

• 適切な随伴変数のスケーリングの下で、離散的PMPからの状態および随伴ダイナミクスを組み合わせることで、ハミルトニアン$××$を導出する。
• 離散的最適制御問題に$γ$-極限手続きを適用し、$m$ 個のODEと$N$ 個のODEからなる系を、$m$ 個のODEと1つのPDEを含む連続系に変換する。
• 制御制約を扱うために、劣微分計算と双対性を用い、特に$\mathcal{U} = [-1,1]^{dm}$における$L^2$-ペナルティ付きスパース制御を対象とする。
• 粒子の$m$ 個の後向きダイナミクスと、測度値状態および随伴変数の前向き・後向きPDEを用いて、随伴系を構築する。
• 最適制御を明示的に計算し、$|z_k| > 2$ の場合$u_k^* = \text{sign}(z_k)$、それ以外の場合は$u_k^* = \frac{1}{2}z_k$とし、有界性とスパarsityを保証する。
• ハミルトニアンの勾配から導かれるベクトル場によって駆動される連続の方程式を通じて、連合測度$\nu$のダイナミクスを導出する。$\mathbb{H}_c$の変分導関数から導出される成分を含む。

実験結果

リサーチクエスチョン

• RQ1 ODEとVlasov型PDEを結合する最適制御問題に対して、古典的Pontryagin最大原理をどのように拡張できるか？
• RQ2 離散的最適制御問題の極限として得られる平均場最適制御の一次の最適性条件は何か？
• RQ3 エージェントが同一視可能な平均場フレームワークにおいて、制御のスパarsityを一貫的に定義する方法は何か？
• RQ4 平均場極限における随伴系の構造は何か？ また、Wasserstein空間におけるハミルトニアンフローとどのように関係するか？
• RQ5 適切な随伴変数のスケーリング下で、離散的PMPの極限として平均場PMPを構成的に導出できるか？

主な発見

• 最適制御は明示的に$u_k^* = \text{sign}(z_k)$（$|z_k| > 2$ の場合）、それ以外は$u_k^* = \frac{1}{2}z_k$として計算され、有界性とスパarsityが保証される。
• 粒子$m$ 個の状態および随伴ダイナミクスは、平均場測度と粒子間相互作用を含む結合項を伴う前向き・後向きODEによって支配される。
• 連合測度$\nu$は、ハミルトニアンの勾配から導かれるベクトル場によって駆動される連続の方程式に従い、Vlasov-PDEダイナミクスと整合性を持つ。
• 測度$\nu$の第一周辺分布$\mu$は元のVlasov型PDEを満たし、ハミルトニアンの成分から正確にダイナミクスが回復される。
• 粒子の随伴変数$q_k, z_k$および測度のための$r, s$は、相互作用カーネル$\phi$および平均場分布に依存する後向きダイナミクスを満たす。
• 本手法は離散的PMPのきめ細かな平均場極限を提供し、有限次元最適制御と連続体モデルの間の橋渡しを確立する。