[論文レビュー] Open-Loop and Closed-Loop Solvabilities for Stochastic Linear Quadratic Optimal Control Problems

Jingrui Sun, Xun Li+1 more|arXiv (Cornell University)|Aug 10, 2015

Stochastic processes and financial applications参考文献 17被引用数 10

ひとこと要約

本稿は、確率的線形二次(LQ)最適制御問題におけるオープンループ解消可能性とクローズドループ解消可能性の違いを確立し、クローズドループ解消可能性がリカッチ方程式の解消可能性とコスト関数の一様強凸性を要請することを示している。一方、オープンループ解消可能性は最小化列の収束によって特徴づけられる。主な貢献は、制御重み行列 $ R(s) $ が正定値でない場合でもLQ問題が有限かつ解消可能であるような条件の厳密な分析であり、クローズドループ解消可能性がオープンループ解消可能性を意味しないことを示す反例を提示している。

ABSTRACT

This paper is concerned with a stochastic linear quadratic (LQ, for short) optimal control problem. The notions of open-loop and closed-loop solvabilities are introduced. A simple example shows that these two solvabilities are different. Closed-loop solvability is established by means of solvability of the corresponding Riccati equation, which is implied by the uniform convexity of the quadratic cost functional. Conditions ensuring the convexity of the cost functional are discussed, including the issue that how negative the control weighting matrix-valued function R(s) can be. Finiteness of the LQ problem is characterized by the convergence of the solutions to a family of Riccati equations. Then, a minimizing sequence, whose convergence is equivalent to the open-loop solvability of the problem, is constructed. Finally, an illustrative example is presented.

研究の動機と目的

• 確率的線形二次(LQ)最適制御問題におけるオープンループ解消可能性とクローズドループ解消可能性の違いを明確化すること。
• 制御重み行列 $ R(\bullet) $ が正定値でない場合でもLQ問題が有限かつ解消可能であるような条件を確立すること。
• 最小化制御列の収束を用いてオープンループ解消可能性を特徴づけること。
• コスト関数の均一凸性の下で、クローズドループ解消可能性が関連するリカッチ方程式の解消可能性と同値であることを示すこと。

提案手法

• 一般係数を有する確率的LQ問題におけるオープンループおよびクローズドループ解消可能性の概念を導入する。
• リカッチ方程式を用いてクローズドループ解消可能性を特徴づけ、その解消可能性がクローズドループ最適性を示すことを示す。
• コスト関数の均一凸性がリカッチ方程式の解消可能性を保証し、したがってクローズドループ解消可能性を保証することを確立する。
• その収束がオープンループ解消可能性と同値であるような制御の最小化列を構成する。
• 正則化パrameter $ \varepsilon \to 0 $ におけるリカッチ方程式の解の収束を通じてLQ問題の有限性を分析する。
• 問題がオープンループ解消可能ではあるがクローズドループ解消可能でない反例を提示し、二つの概念の違いを強調する。

実験結果

リサーチクエスチョン

• RQ1 制御重み行列 $ R(s) $ が正定値でない場合、確率的線形二次最適制御問題がいつオープンループ解消可能となるか。
• RQ2 確率的LQ問題において、オープンループ解消可能性とクローズドループ解消可能性の正確な関係は何か。
• RQ3 リカッチ方程式の解消可能性はクローズドループ解消可能性とどのように関係するか。また、その解消可能性を保証する条件は何か。
• RQ4 $ R(s) $ が不定であっても、コスト関数が有限であり問題が解消可能であることは可能か。その場合、どのような条件下で可能となるか。
• RQ5 リカッチ方程式の解の収束が、LQ問題の有限性を特徴づける上で果たす役割は何か。

主な発見

• 問題がクローズドループ解消可能であるための必要十分条件は、関連するリカッチ方程式が解消可能であることであり、これはコスト関数の一様凸性によって保証される。
• コスト関数が一様凸であるための条件は、行列 $ Q(s) - S(s)^T R(s)^{-1} S(s) $ が非負定値であることである。これは $ R(s) $ が正定値でない場合でも成立する。
• LQ問題の有限性は、正則化パrameter $ \varepsilon \to 0 $ におけるリカッチ方程式の解の収束によって特徴づけられる。
• オープンループ解消可能性は、制御の最小化列の収束と同値であり、本稿ではその列を明示的に構成している。
• 問題がオープンループ解消可能ではあるがクローズドループ解消可能でない反例が提示され、二つの概念が明確に異なることを示している。
• $ \varepsilon \to 0 $ の極限において、正則化問題の価値関数は $ V^0(t,x) = 0 $（$ t < 1 $）に収束し、$ V^0(1,x) = x^2 $ となる。これは元の問題の有限性およびオープンループ解消可能性を確認している。