[論文レビュー] Online Stochastic Optimization for Unknown Linear Systems: Data-Driven Synthesis and Controller Analysis

Gianluca Bianchin, Luis M. Vaquero+2 more|arXiv (Cornell University)|Aug 30, 2021

Traffic Prediction and Management Techniques被引用数 6

ひとこと要約

本稿では、システムのダイナミクスや摂動分布を事前に知らない状態で、時間変動する確率的最適化問題の解へ未知の確率的線形時不変（LTI）システムを制御するデータ駆動型コントローラーを提案する。オープンループ入出力データから直接定常状態の伝達関数を推定することで、確率的勾配降下法にインspiredされたコントローラーが収縮的閉ループダイナミクスを達成でき、モデル不確実性やノイズ下でも最適化子の安定追従を保証する。

ABSTRACT

This paper proposes a data-driven control framework to regulate an unknown, stochastic linear dynamical system to the solution of a (stochastic) convex optimization problem. Despite the centrality of this problem, most of the available methods critically rely on a precise knowledge of the system dynamics (thus requiring off-line system identification and model refinement). To this aim, in this paper we first show that the steady-state transfer function of a linear system can be computed directly from control experiments, bypassing explicit model identification. Then, we leverage the estimated transfer function to design a controller -- which is inspired by stochastic gradient descent methods -- that regulates the system to the solution of the prescribed optimization problem. A distinguishing feature of our methods is that they do not require any knowledge of the system dynamics, disturbance terms, or their distributions. Our technical analysis combines concepts and tools from behavioral system theory, stochastic optimization with decision-dependent distributions, and stability analysis. We illustrate the applicability of the framework on a case study for mobility-on-demand ride service scheduling in Manhattan, NY.

研究の動機と目的

• システムのダイナミクスや摂動分布が事前に不明な状態での未知の確率的線形システムの制御という課題に対処すること。
• 正確なシステム同定やモデル精錬を要する従来のモデルベース制御手法の限界を克服すること。
• オープンループ実験からの入出力データのみを用いて、確率的凸最適化問題の解へシステムをオンラインで制御することを可能にすること。
• システムパラメータや摂動の不確実性にもかかわらず、コントローラー性能に理論的保証を設けること。
• マンハッタンにおけるモビリティ・オン・デマンドのライドシェアリングケーススタディを通じて、フレームワークの実用的妥当性を示すこと。

提案手法

• システム行列の推定を伴わず、有限長の非定常状態入出力軌道から直接、未知LTIシステムの定常状態伝達関数を推定する。
• 行動的システム理論を活用し、システム行列の知識なしに、十分に豊富な1つの軌道から伝達関数が計算可能であることを示す。
• 推定された伝達関数を用いて、時間変動する確率的最適化問題の解へシステムを誘導する、確率的勾配降下法にインspiredされたデータ駆動型コントローラーを導入する。
• 摂動が存在する場合の伝達関数推定における近似誤差を特徴付け、その結果生じる追従誤差を明示的に境界化する。
• 速度とモデル不確実性へのロバストネスのバランスを取ることで、閉ループダイナミクスの厳密な収縮性を保証するコントローラーゲインを設計する。
• 投影によるコントローラー更新を用いて最適化問題の制約を強制し、ライドシェアリングなどの実用的応用における妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 システム同定を伴わず、入出力データから未知LTIシステムの定常状態伝達関数を直接推定できるか？
• RQ2 時間変動する確率的最適化問題の解へ未知の確率的LTIシステムを制御するためのコントローラーをどのように設計できるか？
• RQ3 未知の摂動が、データ駆動型伝達関数推定の精度およびその結果生じるコントローラー性能に与える影響は何か？
• RQ4 システムのダイナミクスや摂動分布が不明な状態で、閉ループシステムが安定かつ収縮的であるための条件は何か？
• RQ5 実世界の応用、例えばモビリティ・オン・デマンドシステムにおいて、提案されたデータ駆動型コントローラーは固定ポリシーまたはモデルベース手法と比較してどのように差をつけるか？

主な発見

• 未知LTIシステムの定常状態伝達関数は、システム行列の推定を要せず、1つの有限長入出力軌道から直接計算可能である。
• 摂動が存在する場合、データ駆動型伝達関数推定には有界な近似誤差が生じるが、本稿ではその誤差が明示的に特徴付けられている。
• 適切に選ばれたコントローラーゲインのもとで、提案されたコントローラーは閉ループダイナミクスを厳密に収縮的に保証する。これは、システムの速度より遅めに設定されるが、モデル不確実性に起因する分布シフトに対抗できるほど十分に大きい。
• 追従誤差は、時間変動する最適化子の影響により、さらに減少しなくなるため、定常状態での誤差は約10⁻²のオーダーに収束することがシミュレーションで確認された。
• モビリティ・オン・デマンドのケーススタディにおいて、コントローラーに基づく適応的価格ポリシーは、固定価格ポリシーと比較して、より高いライド受諾率、利益、およびフリート利用率を達成した。
• 需要の変動が激しい状況においても、コントローラーは動的に価格を調整することで、固定価格ポリシーを上回り、フリートの利用率と利益を最大化する。