[論文レビュー] Exact SDP Formulation for Discrete-Time Covariance Steering with Wasserstein Terminal Cost

Isin M. Balci, Efstathios Bakolas|arXiv (Cornell University)|May 22, 2022

Aortic aneurysm repair treatments被引用数 5

ひとこと要約

本稿では、Wasserstein距離の終端コストを伴う離散時間共分散設計問題に対して、正確な半定値計画（SDP）定式化を提示する。従来の状態履歴フィードバック政策に代えて、凸的かつ取り扱いやすい最適化を可能にする確率的状態フィードバック政策を導入する。主な貢献は、緩和を用いず、グローバルに最適な決定論的状態フィードバック制御則を導くSDPを提示したことである。これは、従来の手法と比較して、計算効率と性能の両面で顕著な向上をもたらす。

ABSTRACT

In this paper, we present new results on the covariance steering problem with Wasserstein distance terminal cost. We show that the state history feedback control policy parametrization, which has been used before to solve this class of problems, requires an unnecessarily large number of variables and can be replaced by a randomized state feedback policy which leads to more tractable problem formulations without any performance loss. In particular, we show that under the latter policy, the problem can be equivalently formulated as a semi-definite program (SDP) which is in sharp contrast with our previous results that could only guarantee that the stochastic optimal control problem can be reduced to a difference of convex functions program. Then, we show that the optimal policy that is found by solving the associated SDP corresponds to a deterministic state feedback policy. Finally, we present non-trivial numerical simulations which show the benefits of our proposed randomized state feedback policy derived from the SDP formulation of the problem over existing approaches in the field in terms of computational efficacy and controller performance.

研究の動機と目的

• 凸最適化を用いて、Wasserstein終端コストを伴う有限区間共分散設計問題の計算不能性を解消する。
• 決定変数が多すぎて非凸的または緩和された定式化を引き起こす、従来の状態履歴フィードバック政策の限界を克服する。
• 半定値緩和を回避し、グローバル最適性を保証する、取り扱いやすい正確な凸定式化を開発する。
• SDPから導かれる最適政策が決定論的であることを示し、実装の簡素化と性能向上を図る。
• 数値シミュレーションを通じて、提案手法が計算速度および制御性能の両面で、既存手法を上回ることを示す。

提案手法

• 状態履歴フィードバックと比較して、決定変数の数を削減する確率的状態フィードバック政策のパrametrizationを導入する。
• 変数変換を用いて、Wasserstein距離終端コストを伴う共分散設計問題を凸的半定値計画（SDP）として定式化する。
• 決定変数に関して目的関数が線形となる形でWasserstein距離を表現し、効率的な解法を可能にする。
• SDPの最適解が確率的でない決定論的状態フィードバック政策に対応することを証明する。
• 政策パrametrizationにおけるブロック対角構造を活用し、最適性を保持したまま計算複雑度を低減する。
• 数値シミュレーションにおいて、切断されたおよび非切断の状態履歴フィードバックおよびアフィン摂動フィードバック政策と比較して、SDPに基づく政策を実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein終端コストを伴う共分散設計問題を、緩和を用いず、正確な凸最適化問題として定式化できるか？
• RQ2 決定変数の数を減らした場合に、確率的状態フィードバック政策は、状態履歴フィードバックと同等またはそれ以上の性能を達成できるか？
• RQ3 SDP定式化から導かれる最適政策は決定論的であるか。その制御則設計への影響は何か？
• RQ4 提案手法のSDPベースの方法の計算複雑度は、問題の時間区間 $N$ に対してどのようにスケーリングされるか？ 既存の非凸的または緩和された手法と比較して。
• RQ5 提案されたSDP定式化は、解の質と計算時間の両面で、既存の政策パrametrizationを上回ることができるか？

主な発見

• 提案されたSDP定式化は正確であり、任意の凸緩和に依存せず、グローバル最適性の保証が可能である。
• 確率的政策パrametrizationを用いても、SDPから導かれる最適政策は決定論的である。これは実装を簡素化する。
• 決定変数の数は問題の時間区間 $N$ に対して線形に増加し、計算複雑度は $ frac{1}{3}$ 次のオーダーとなる。これは表Iで確認された。
• SDPの計算時間は $\mathcal{O}(N^3)$ のオーダーで増加し、2次元二重積分器系において $N=150$ の場合に29.34秒の報告時間がある。
• 数値シミュレーションにより、SDPに基づく状態フィードバック政策は、切断された状態履歴およびアフィン摂動フィードバック政策を、性能および計算時間の両面で上回ることが示された。
• 問題の時間区間 $N$ が増加するにつれ、非切断履歴ベースの政策の計算時間は計算不能になるが、SDPベースの手法はスケーラブルなままである。