[論文レビュー] Turnpike in Lipschitz-nonlinear optimal control

Carlos Esteve, Borjan Geshkovski+2 more|arXiv (Cornell University)|Nov 22, 2020

Model Reduction and Neural Networks参考文献 44被引用数 4

ひとこと要約

本稿では、グローバルにリプシッツ連続（可能性として非滑らか）な非線形項を有する非線形最適制御問題におけるターンパイク性の新規な証明を提示する。制御可能性に基づく準ターンパイク制御の構成とブートストラップ法を用いる。本手法は線形化や初期データ・目標の小規模性仮定、非線形項の滑らかさを要しない。指数的ターンパイク推定を確立し、有限次元および無限次元系（ResNets や波動方程式・熱方程式などの半線形PDEを含む）に適用可能である。

ABSTRACT

We present a new proof of the turnpike property for nonlinear optimal control problems, when the running target is a steady control-state pair of the underlying system. Our strategy combines the construction of quasi-turnpike controls via controllability, and a bootstrap argument, and does not rely on analyzing the optimality system or linearization techniques. This in turn allows us to address several optimal control problems for finite-dimensional, control-affine systems with globally Lipschitz (possibly nonsmooth) nonlinearities, without any smallness conditions on the initial data or the running target. These results are motivated by applications in machine learning through deep residual neural networks, which may be fit within our setting. We show that our methodology is applicable to controlled PDEs as well, such as the semilinear wave and heat equation with a globally Lipschitz nonlinearity, once again without any smallness assumptions.

研究の動機と目的

• グローバルにリプシッツ連続（可能性として非滑らか）な非線形項と、大きな初期データや目標を有する非線形最適制御問題に対するターンパイク結果の不足を解消すること。
• ポントリャーギンの最大原理や線形化に依存する従来の手法の制限を克服すること。これらは滑らかさおよび小規模性条件を要する。
• 有限次元の制御アフィン系と無限次元のPDE（例：半線形波動方程式・熱方程式）に共通して適用可能な一般枠組みを構築すること。
• 機械学習の文脈（特に非線形性が一般的でしばしば非滑らかであるReLUなどの活性化関数を有する深層残差ネットワーク（ResNets））におけるターンパイク解析を可能にすること。
• $C^2$正則性や厳密な分散性を要件としない、時間区間に対して一様に成り立つターンパイク性への拡張を実現すること。

提案手法

• 有限時間内にシステムを定常状態の目標に到達させるために、制御可能性の議論を用いて準ターンパイク制御を構成する。
• システムのリプシッツ連続性を活用し、反復的に軌道がターンパイクに近づく程度を改善するブートストラップ法を適用する。
• 最適性系の解析や動的システムの線形化を回避するため、微分可能性や小規模性仮定の必要性を回避する。
• エネルギー推定とグローバル・イングランド型不等式を用いて、状態と目標とのずれを制御し、非線形項のグローバル・リプシッツ性に依存する。
• 長時間区間における制御および状態軌道の一様有界性を確立し、ターンパイクへの指数的収束を保証する。
• 半群理論、パoincaré不等式およびコーシー＝シュワルツ不等式、変分的定式化を組み合わせることで、PDEへの枠組みの適応を図り、安定性推定を導出する。

実験結果

リサーチクエスチョン

• RQ1 グローバルにリプシッツ連続（可能性として非滑らか）な非線形項を有する非線形最適制御問題において、初期データや走行目標の小規模性仮定なしにターンパイク性を確立できるか？
• RQ2 線形化や最適性系の解析に依存せずに、指数的ターンパイク推定を証明することは可能か？
• RQ3 本手法は、リプシッツ非線形項を有する半線形波動方程式・熱方程式などの無限次元系に拡張可能か？
• RQ4 本枠組みは、活性化関数が通常ReLUやシグモイド（点で微分不能）である機械学習モデル（例：ResNets）に適用可能か？
• RQ5 ターンパイク性が時間区間に対して一様に成立するための最小限の構造的仮定（例：制御アフィン、グローバルにリプシッツ連続）は何か？

主な発見

• グローバルにリプシッツ連続な非線形項を有する有限次元の制御アフィン系において、非線形項が$C^1$でない場合でも、初期データや目標の小規模性仮定なしにターンパイク性が成立する。
• グローバルにリプシッツ連続な非線形項を有する半線形熱方程式・波動方程式に対しても、同様の条件下でターンパイク性が確立される。初期データや目標からのずれの小規模性は要件とされない。
• 本手法は、有限時間内にシステムを目標に到達させ、時間区間の大部分においてターンパイクに近い状態を維持する制御を構成する。収束速度は指数的である。
• 線形化や最適性系の解析を回避し、制御可能性とブートストラップ法に依存するため、非滑らかダイナミクスに対してもロバストである。
• 本枠組みは、活性化関数が通常ReLUやシグモイドである深層残差ネットワーク（ResNets）に直接適用可能であり、最適制御が時間区間の大部分において定常状態解の近傍に留まることを示している。
• 立方体型熱方程式には、$u_T$ の一様 $L^2$ 制御ノルムの有界性が欠落するため、本手法は直接拡張できないが、そのような有界性が確立できる場合、可能性は残っている。