[論文レビュー] Turnpike and dissipativity in generalized discrete-time stochastic linear-quadratic optimal control

Jonas Schießl, Ruchuan Ou+3 more|arXiv (Cornell University)|Sep 11, 2023

Stochastic processes and financial applicationsEconomics, Econometrics and Finance被引用数 3

ひとこと要約

本稿は、一般化された離散時間確率的線形二次最適制御問題に対する、時間変動型$L^2$-ベースの散逸性枠組みを提案する。決定論的定常状態の代わりに、定常確率過程ペアを用いる。この散逸性と複数のターニケート現象（確率的パスワイズ、分布（Wasserstein距離を介して）、モーメント）の等価性を確立し、定常ペアが定常最適化問題を一意に解くことを証明する。

ABSTRACT

We investigate different turnpike phenomena of generalized discrete-time stochastic linear-quadratic optimal control problems. Our analysis is based on a novel strict dissipativity notion for such problems, in which a stationary stochastic process replaces the optimal steady state of the deterministic setting. We show that from this time-varying dissipativity notion, we can conclude turnpike behaviors concerning different objects like distributions, moments, or sample paths of the stochastic system and that the distributions of the stationary pair can be characterized by a stationary optimization problem. The analytical findings are illustrated by numerical simulations.

研究の動機と目的

• 非ゼロ平均のノイズと段階コストにおける線形項を有する一般化された確率的線形二次最適制御問題に対して、決定論的ターニケートおよび散逸性理論を拡張すること。
• 決定論的平衡状態の代わりに定常確率過程ペアを用いる、$L^2$-ノルムに基づく時間変動型散逸性の新しい定義を提示すること。
• この散逸性が、パスワイズ確率的、分布的（Wasserstein距離を介して）、および一次・二次モーメントに基づく複数のタイプのターニケート行動を示すことを示すこと。
• 定常最適化問題を用いて最適解ペアの定常分布を特徴付けること。
• ガウス分布および非ガウス分布のノイズに対して、理論的結果を数値シミュレーションにより検証すること。

提案手法

• 決定論的均衡状態の代わりに、システム状態と定常確率過程ペアとの間の$L^2$-ノルム（平均二乗距離）に基づく時間変動型散逸性の定義を提案する。
• 一般化された確率的LQ OCPに対して、明示的にストレージ関数を構築し、非ゼロ平均ノイズおよび段階コストにおける線形項を含む一般条件下で厳密な散逸性を証明する。
• 最適軌道の確率分布と定常ペアの確率分布との距離を、2次のWasserstein距離で測定することで、分布的ターニケート解析を可能にする。
• 定常最適化問題を定式化し、それが既存の文献における散逸性枠組みと関連づけられることを示す。
• ガウス分布および一様分布のi.i.d.ノイズを有する2次元系に対して数値シミュレーションを実施し、状態/制御軌道、Wasserstein距離、およびモーメントの時間発展を異なる時間幅で比較する。
• 期待値および分散のモーメント発展が、非ガウス分布のノイズに対しても解析的に扱いにくい場合でも、定常分布のモーメントに収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 非ゼロ平均ノイズおよび段階コストに線形項を有する確率的LQ問題に対して、確率変数の$L^2$-ノルムに基づく時間変動型散逸性を定義可能か？
• RQ2 この新しい散逸性概念は、非ガウス分布で非ゼロ平均のノイズに対しても、確率的パスワイズターニケート行動を示すか？
• RQ3 確率的設定下で、最適解ペアの定常分布が定常最適化問題によって一意に特徴付けられるか？
• RQ4 一般のノイズ分布下で、ターニケート行動が分布（Wasserstein距離を介して）およびモーメント（期待値および分散）の観点からどの程度顕在化するか？
• RQ5 理論的散逸性およびターニケート結果は、ガウス分布の仮定を超えて、一階および二階モーメントが有限である任意の分布へとどのように拡張可能か？

主な発見

• 提案された$L^2$-ベースの散逸性概念は、段階コストに線形項を有し、非ゼロ平均ノイズを有する一般化された確率的LQ OCPにおいても厳密に満たされる。
• 定常最適化問題によって特徴付けられる定常確率過程ペアは、ターニケート枠組みにおける一般化された平衡状態として機能し、決定論的定常状態の代わりに機能する。
• 確率的パスワイズターニケート行動が確立された：最適軌道は、固定ノイズ実現値を用いたシミュレーションにより、時間区間の大部分で$L^2$-意味で定常ペアに近接していることが確認された。
• 最適軌道の確率分布と定常ペアの確率分布との間の2次のWasserstein距離は、時間幅が増加するに従いゼロに収束する。これは、分布的ターニケートの確認である。
• 非ガウス分布に対しても、一階および二階モーメントが有限であれば、最適軌道の一次および二次モーメントは、定常分布のモーメントに収束する。
• 数値結果により、ガウス分布および一様分布の両方のノイズに対して、同一のターニケート行動が観測された。これは、ガウス仮定を超えたロバストネスを示している。