[論文レビュー] The turnpike property for mean-field optimal control problems

Martin Gugat, Michaël Herty+1 more|arXiv (Cornell University)|Jan 1, 2023

Stability and Controllability of Differential Equations参考文献 34被引用数 1

ひとこと要約

本稿では、厳密な消費性および安価な制御条件のもとで、平均場最適制御問題におけるターンパイク性を確立する。最適軌道および制御が長時間スケールにおいて急速に定常解に収束することを示している。著者らは、相互作用する粒子の大きな系における平均場極限でも、このターンパイク構造が保たれることを示しており、最適制御が時間区間の大部分で静的解に近く保たれることを保証している。その減衰率は、時間区間と初期偏差に依存する定数によって定量的に評価されている。

ABSTRACT

We study the turnpike phenomenon for optimal control problems with mean field dynamics that are obtained as the limit $N ightarrow \infty$ of systems governed by a large number $N$ of ordinary differential equations. We show that the optimal control problems with with large time horizons give rise to a turnpike structure of the optimal state and the optimal control. For the proof, we use the fact that the turnpike structure for the problems on the level of ordinary differential equations is preserved under the corresponding mean-field limit.

研究の動機と目的

• 相互作用する粒子の大きな系の平均場極限において、最適制御と状態が定常解に近接するというターンパイク性が保持されるかどうかを調査すること。
• 有限Nの系からN → ∞への平均場PDE極限に移行する際、特に厳密な消費性および安価な制御仮定のもとで、ターンパイク構造が保たれる条件を確立すること。
• 有限Nの微視的最適制御問題とN → ∞の中間的平均場制御問題の間を橋渡しし、ターンパイク行動において同等性を示すこと。
• 平均場設定における最適制御および状態軌道が定常解から離れる偏差の定量的推定を提供すること。

提案手法

• 加法的制御入力を有する非局所的輸送PDEに従う平均場最適制御問題を定式化し、粒子密度の時間発展をモデル化する。
• 長期間にわたる定常解への収束を保証するため、厳密な消費性および安価な制御条件を系に課す。
• 有限NのODE系の平均場極限を用いて中間的PDEモデルを導出し、適切な仮定のもとでターンパイク構造が保存されることを示す。
• 消費性不等式を用いて、時間区間内での最適軌道が定常解から離れる偏差を評価する。
• 時間区間の内部における目的関数貢献の減衰推定を導出し、n ≥ 1 に対して O(1/(b−a)^n) の減衰を示す。
• 初期測度および制御偏差のバウンドを用いた時間区間の縮小による議論により、平均場設定におけるターンパイク性を証明する。

実験結果

リサーチクエスチョン

• RQ1 OEDで記述される大規模な相互作用粒子系の平均場極限において、ターンパイク性は保持されるか？
• RQ2 有限N系から平均場PDE極限に移行する際、どのような条件下でターンパイク構造が保たれるか？
• RQ3 平均場最適制御設定において、定常解からの偏差の減衰率を定量的に評価できるか？
• RQ4 厳密な消費性および安価な制御条件は、平均場設定におけるターンパイク性の出現にどのように寄与するか？
• RQ5 長時間スケールにおいて、最適制御および状態軌道の内部減衰が時間に一様にバウンド可能か？

主な発見

• 厳密な消費性および安価な制御条件のもとで、平均場最適制御問題におけるターンパイク性が成立し、最適軌道および制御が迅速に定常解に収束する。
• 最適状態および制御が定常解から離れる偏差は、n ≥ 1 に対して O(1/(b−a)^n) のオーダーで減少し、定数はnとともに増加する。
• 平均場の場合、時間区間 [a + λ(b−a), b] における目的関数の内部減衰は、C²₀ / (λ(b−a)) に初期測度偏差を乗じた量でバウンドされ、C₀は消費性定数である。
• このバウンドは帰納的に鋭くし、連続する時間区間における改善された減衰推定が得られる。
• 結果は平均場極限に対してロバストである：有限N系で観察されたターンパイク構造は、N → ∞の極限でも保存される。
• 解析により、平均場設定における最適制御問題が、消費性および安価な制御の仮定を除いて追加の仮定を必要としないこと、ターンパイク性を満たすことが確認された。