[論文レビュー] Optimal Covariance Steering for Discrete-Time Linear Stochastic Systems

Fengjiao Liu, George Rapakoulias+1 more|arXiv (Cornell University)|Nov 1, 2022

Mathematical and Theoretical Epidemiology and Ecology Models被引用数 4

ひとこと要約

本稿は、離散時間線形確率的システムの状態共分散を二次コスト関数を用いて所望の終端分布へと制御する最適制御則の存在および一意性を確立する。最適平均および共分散制御問題が分離可能であることを証明し、損失なしの凸緩和を用いて半正定値計画（SDP）に再定式化することで、正確かつ効率的な最適制御則の計算が可能であることを示す。

ABSTRACT

In this paper, we study the optimal control problem for steering the state covariance of a discrete-time linear stochastic system over a finite time horizon. First, we establish the existence and uniqueness of the optimal control law for a quadratic cost function. Then, we show the separation of the optimal mean and the covariance steering problems. We also develop efficient computational methods to solve for the optimal control law, which is identified as the solution to a semi-definite program. The effectiveness of the proposed approach is demonstrated through numerical examples. In the process, we also obtain some novel theoretical results for a matrix Riccati difference equation, which may be of independent interest.

研究の動機と目的

• 離散時間線形確率的システムにおける有限区間共分散制御の最適制御則の存在および一意性を確立すること。
• 二次コスト関数のもとで最適平均および共分散制御問題が分離可能であることを示すこと。
• 凸最適化を用いて最適制御問題を計算的に効率的に解く手法を開発すること。
• 非凸共分散制御問題に対する損失なしの凸緩和が、半正定値計画（SDP）を用いて正確な最適解をもたらすことを示すこと。
• 最適制御解の導出過程で生じる行列リカチ差分方程式の性質に関する理論的洞察を提供すること。

提案手法

• プロセスノイズを有する離散時間線形確率的システム上での有限区間共分散制御問題を、二次コスト関数を用いた最適制御問題として定式化する。
• ハミルトニアン・ジャコビ・ベルマン方程式から導かれる行列リカチ差分方程式の解析を用いて、最適制御則の存在および一意性を証明する。
• 制約が存在しない状況において独立性を示すことで、最適平均および共分散制御問題を分離可能であることを示す。
• 損失なしの凸緩和技術を用いて、元の非凸最適化問題を凸半正定値計画（SDP）に再定式化する。
• 強い双対性および厳密な可解性を用いて、SDPの最適解が元の非凸問題の最適解に正確に一致することを証明する。
• 2つの解法を実装・比較する：非線形最適化のためのニュートン法と、YALMIPおよびMOSEKを用いたSDPベースの凸最適化。

(a) Newton’s method.

実験結果

リサーチクエスチョン

• RQ1 有限区間において、離散時間線形確率的システムの状態共分散を所望の終端共分散へと制御する最適制御則は存在するか？
• RQ2 二次コスト関数のもとで最適制御則は一意的か？
• RQ3 最適平均および共分散制御問題は独立に解くことができるか？
• RQ4 非凸共分散制御問題は凸緩和を用いて正確に解けるか？
• RQ5 最適制御解に現れる行列リカチ差分方程式の構造的および解析的性質は何か？

主な発見

• 有限区間共分散制御における離散時間線形確率的システムの最適制御則は、与えられた二次コスト関数のもとで存在し、かつ一意的である。
• チャンス制約が課されない状況では、最適平均および共分散制御問題は分離可能であり、独立した最適化が可能である。
• 元の非凸共分散制御問題は損失なしの凸緩和を経て、得られた半正定値計画（SDP）の最適解が、元の問題の最適解に正確に一致する。
• 提案されたSDP定式化により、標準的な凸最適化ソルバを用いて最適制御則を正確かつ効率的に計算可能であり、高次元系においてニュートン法に比べてスケーラビリティが優れていることが示された。
• 数値結果により、SDPベースの解法とニュートン法が同一の最適軌道、平均経路、共分散楕円を達成しており、理論的主張の妥当性が裏付けられた。
• 最適制御を支配する行列リカチ差分方程式に関する、制御理論において独立に価値ある新たな理論的性質が導出された。

(b) SDP with lossless convex relaxation.