[論文レビュー] Local turnpike analysis using local dissipativity for discrete time discounted optimal control

Lars Grüne, Lisa Krügel|arXiv (Cornell University)|Jan 27, 2021

Economic theories and models参考文献 23被引用数 8

ひとこと要約

本稿では、離散時間割引最適制御問題における局所的転がり効果（turnpike）行動を分析するため、局所的散逸性（dissipativity）フレームワークを導入する。局所的厳密散逸性を定義し、割引因子の閾値β₁とβ₂を導出することで、β ∈ [β₁, β₂] の場合に最適軌道が局所的最適均衡点に収束することを示している。この区間内に割引因子が存在する限り、複数の均衡が存在する場合でも収束が保証される。

ABSTRACT

Recent results in the literature have provided connections between the so-called turnpike property, near optimality of closed-loop solutions, and strict dissipativity. Motivated by applications in economics, optimal control problems with discounted stage cost are of great interest. In contrast to non-discounted optimal control problems, it is more likely that several asymptotically stable optimal equilibria coexist. Due to the discounting and transition cost from a local to the global equilibrium, it may be more favourable staying in a local equilibrium than moving to the global - cheaper - equilibrium. In the literature, strict dissipativity was shown to provide criteria for global asymptotic stability of optimal equilibria and turnpike behavior. In this paper, we propose a local notion of discounted strict dissipativity and a local turnpike property, both depending on the discount factor. Using these concepts, we investigate the local behaviour of (near-)optimal trajectories and develop conditions on the discount factor to ensure convergence to a local asymptotically stable optimal equilibrium.

研究の動機と目的

• 本稿の目的は、割引効果によって複数の局所的に安定な均衡が共存する可能性があるため、割引最適制御における局所的収束の課題に取り組むことにある。
• 最適軌道が、全体的に安価だが到達が難しい均衡に引き寄せられるのではなく、局所的に漸近的に安定な最適均衡点に収束する条件を調査することにある。
• 割引因子に適合した局所化された厳密散逸性のバージョンを用いて、局所的転がり効果性を確立することにある。
• 本研究は、局所的散逸性を局所的転がり効果行動に結びつけるフレームワークを提供することを目的としており、グローバルな結果を局所的設定に拡張することを目的としている。

提案手法

• 著者らは、割引付き厳密散逸性の局所的定式化を定義し、均衡点の近傍で定義された局所的ストレージ関数λ(x)が存在し、ℓ(x,u) + λ(x) − βλ(f(x,u)) ≥ 0 を満たすように要件を設定する。
• 局所的ダイナミクスと価値関数の成長に関する解析から、二つの閾値β₁とβ₂を導出し、β ∈ [β₁, β₂] の場合に、局所的均衡点の近傍にある軌道がその近傍にとどまり、かつ収束することを示している。
• 動的計画法の原則を用いて、最適価値関数V∞(x)を段階的コストと割引付き将来コストに関連づけ、軌道の再帰的解析を可能としている。
• 軌道が関心領域の局所的領域に留まるように保証する不変性条件を導入し、価値関数の適切な成長条件のもとでそれが満たされることを示している。
• 解析は離散時間で行われ、軌道が均衡点に近い時間の長さ（時間的滞在量）に注目することで、単なる漸近的収束ではなく、軌道の収束を転がり効果形式で表現している。
• 数値例を用いて理論的閾値の妥当性を検証し、βに応じた局所的均衡とグローバル均衡の挙動の遷移を示している。

実験結果

リサーチクエスチョン

• RQ1 割引最適制御問題において、局所的に最適な均衡点が、近傍の最適軌道を引きつける条件は何か？
• RQ2 複数の均衡が存在する状況において、割引因子βが局所的均衡点の近傍での軌道の安定性と収束行動にどのように影響するか？
• RQ3 グローバルな散逸性が成立しない場合でも、厳密散逸性の局所的バージョンを用いて局所的転がり効果性を導出できるか？
• RQ4 閾値β₁とβ₂は、局所的収束が成立する割引因子の区間を決定する上で果たす役割は何か？
• RQ5 最適制御問題の局所的およびグローバルな性質が、区間[β₁, β₂]が非空であるかどうかを決定する上で果たす役割は何か？

主な発見

• 本稿では、割引因子β ∈ [β₁, β₂] の場合に、局所的に漸近的に安定な均衡点の近傍から出発する最適軌道がその均衡点に収束することを確立している。β₁とβ₂はそれぞれ局所的性質とグローバルな性質に基づいて決定される。
• 閾値β₁は局所的ダイナミクスと局所的ストレージ関数にのみ依存し、β ≥ β₁ の場合に局所的均衡点への収束が保証される。
• 閾値β₂は、局所的均衡点から離れた領域における最適価値関数の振る舞いに依存し、β ≤ β₂ の場合に軌道が均衡点の近傍にとどまることが保証される。
• β₁ ≤ β₂ が成り立つ場合、区間[β₁, β₂]は非空であり、局所的転がり効果が保証される。この場合、軌道は局所的均衡点に一定の時間以上滞在する。
• 数値結果から、β < β₂ の場合、軌道が局所的均衡点から逸脱し、グローバルな均衡点に収束する可能性があることが確認されており、特に遷移コストが高い場合には顕著である。
• 例7.3で示されるように、段階的コストが非凸であっても、本手法は頑健である。ここでは、段階的コストがxに関して厳密に凹型であっても、厳密散逸性が成立している。