[論文レビュー] Mean-field optimal control and optimality conditions in the space of probability measures

Martin Burger, René Pinnau+2 more|arXiv (Cornell University)|Feb 14, 2019

Groundwater flow and contamination studies被引用数 4

ひとこと要約

本稿は、確率測度に従う系を対象とする平均場最適制御フレームワークを構築し、測度空間におけるラグランジュ法を用いて一次最適性条件を導出する。粒子レベルと平均場の随伴変数の間の明確な関係を確立し、粒子数が増加する際の最適制御の収束を明示的なレートで示し、$L^2$-ベースの数値的手法が測度空間における随伴変数と直接結びつくことによって正当化される。

ABSTRACT

We derive a framework to compute optimal controls for problems with states in the space of probability measures. Since many optimal control problems constrained by a system of ordinary differential equations (ODE) modelling interacting particles converge to optimal control problems constrained by a partial differential equation (PDE) in the mean-field limit, it is interesting to have a calculus directly on the mesoscopic level of probability measures which allows us to derive the corresponding first-order optimality system. In addition to this new calculus, we provide relations for the resulting system to the first-order optimality system derived on the particle level, and the first-order optimality system based on $L^2$-calculus under additional regularity assumptions. We further justify the use of the $L^2$-adjoint in numerical simulations by establishing a link between the adjoint in the space of probability measures and the adjoint corresponding to $L^2$-calculus. Moreover, we prove a convergence rate for the convergence of the optimal controls corresponding to the particle formulation to the optimal controls of the mean-field problem as the number of particles tends to infinity.

研究の動機と目的

• 確率測度空間に値をとる状態を有する最適制御問題に対して、直接数値実装が可能な一次最適性系を構築すること。
• ハミルトニアンに基づく手法（例：ポントレヤーギンの原理）とラグランジュに基づく導出を、平均場極限において橋渡しすること。
• 測度空間における随伴変数と $L^2$-随伴変数との直接的対応関係を確立することで、数値シミュレーションにおける $L^2$-微積分の使用を厳密に正当化すること。
• 粒子数 $N \to \infty$ の際、$N$-粒子系から得られる最適制御が平均場のそれへ収束するレートを証明すること。

提案手法

• 測度空間におけるラグランジュ形式を用いて一次最適性条件を導出し、ラグランジュ流の明示的使用を避ける。
• 双対変数を測度空間で特徴付けるために、運動量方程式を随伴系として導入する。
• 正則性仮定の下で、測度空間における随伴変数と古典的 $L^2$-随伴変数との直接的関係を確立する。
• 測度間の距離を $W_2$ ワルシャワ距離で測定し、状態変数および制御変数の安定性推定を導出する。
• 測度軌道間の二乗ワルシャワ距離の時間微分にグロワールの不等式を適用し、安定性を証明する。
• ポンカレの不等式とエネルギー推定を用いて、$N \to \infty$ の際の最適制御の収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 平均場最適制御問題において、確率測度空間において直接一次最適性条件をどのように導出できるか？
• RQ2 測度空間における随伴変数と、標準的なPDE制約最適化で用いられる $L^2$-随伴変数との正確な関係は何か？
• RQ3 有限粒子系から得られる最適制御は、平均場極限におけるそれへどのように収束するか？収束レートは何か？
• RQ4 測度空間におけるラグランジュ法を用いることで、既存のハミルトニアン形式と $L^2$-ベースの定式化を統合的かつ正当化できるか？
• RQ5 平均場最適制御問題の最小化子が一意となる条件は何か？

主な発見

• 本稿は、ラグランジュフレームワークを用いて測度空間における一次最適性系を確立し、数値実装の基盤を提供する。
• 運動量方程式が随伴系として導出され、測度空間における双対変数の幾何的・解析的特徴付けを提供する。
• 測度空間における随伴変数と $L^2$-随伴変数との直接的関係が証明され、数値シミュレーションにおける $L^2$-微積分の使用が正当化される。
• 適切な正則性および安定性条件の下で、$N$-粒子系の最適制御は平均場最適制御へ $ oneq \\mathcal{O}(1/\sqrt{N})$ のレートで収束する。
• 安定性推定および収束結果を用いて、粒子系および平均場問題の両方において最小化子の一意性が同じ仮定のもとで確立される。