[論文レビュー] Infinite-Horizon Linear-Quadratic-Gaussian Control with Costly Measurements

Yunhan Huang, Quanyan Zhu|arXiv (Cornell University)|Dec 29, 2020

Advanced Control Systems Optimization参考文献 25被引用数 5

ひとこと要約

本稿では、測定コストがかかる無限時間ホライズン線形二次ガウス型（LQG）制御の共同設計フレームワークを提案する。制御と測定戦略を同時に最適化する。最適制御は状態推定値の線形関数として解析的に特徴付けられ、最適測定戦略は周期的かつ状態に依存せず、周期はシステムのダイナミクスと測定コスト O に依存する。

ABSTRACT

In this paper, we consider an infinite horizon Linear-Quadratic-Gaussian control problem with controlled and costly measurements. A control strategy and a measurement strategy are co-designed to optimize the trade-off among control performance, actuating costs, and measurement costs. We address the co-design and co-optimization problem by establishing a dynamic programming equation with controlled lookahead. By leveraging the dynamic programming equation, we fully characterize the optimal control strategy and the measurement strategy analytically. The optimal control is linear in the state estimate that depends on the measurement strategy. We prove that the optimal measurement strategy is independent of the measured state and is periodic. And the optimal period length is determined by the cost of measurements and system parameters. We demonstrate the potential application of the co-design and co-optimization problem in an optimal self-triggered control paradigm. Two examples are provided to show the effectiveness of the optimal measurement strategy in reducing the overhead of measurements while keeping the system performance.

研究の動機と目的

• ネットワーク制御系における測定と通信のオーバーヘッドが非無視可能な状況において、制御性能、作動コスト、測定コストのトレードオフを扱う。
• 測定にソフトペナルティを課す無限時間ホライズンLQG設定において、制御戦略と測定戦略の共同最適化問題を定式化する。
• 先行研究が有限時間ホライズンまたは連続時間設定で数値的手法に依存する限界を克服し、最適測定戦略を解析的に特徴付ける。
• IoT や無人システムなどのリソース制約環境における自己触発制御およびセンサースケジューリングへの適用可能性を示す。

提案手法

• 制御と測定意思決定を同時に最適化するため、制御的アラウンド（controlled lookahead）を用いた動的計画法の式を定式化する。
• 測定コストを測定が行われるたびに発生する時不変スカラー O としてモデル化し、2値意思決定ポリシーを可能にする。
• 価値関数を V(x) = x'Px + r として導出する。ここで P は修正された代数的リカッチ方程式を満たし、r は推定誤差と測定コストの項を含む。
• 最適測定戦略が周期的かつ現在の状態に依存しないことを確立し、周期 T* はシステムの安定性とコスト O に依存する。
• システム行列 A が不安定な場合、最適待機時間 T* が有限であることを証明し、推定誤差が無制限に増大しないことを保証する。
• ゲルファンドの公式とスペクトル解析を用いて、A が安定な場合に推定誤差のトレース和が収束することを示し、最適ポリシーの解析的特徴付けを可能にする。

実験結果

リサーチクエスチョン

• RQ1 測定コストを伴う無限時間ホライズンLQG系において、制御性能、作動コスト、測定コストの最適トレードオフは何か？
• RQ2 制御戦略と共同で測定戦略を最適化することで、総コストを最小化し、システムの安定性を維持するにはどうすればよいか？
• RQ3 いつ測定を一切行わない（T* = ∞）のが最適となるのか、またいつ周期的な測定スケジューリングが必要となるのか？
• RQ4 1回の測定に固定コスト O がかかる状況において、測定の最適周期長は何かが決定するか？
• RQ5 特に安定系において、最適測定ポリシーを数値計算ではなく解析的に特徴付けることは可能か？

主な発見

• 最適制御戦略は状態推定値の線形関数であり、これは測定戦略に依存するが、標準的なLQG制御の構造を保つ。
• 最適測定戦略は周期的かつ現在の状態に依存せず、周期長はシステムのダイナミクスと測定コスト O に依存する。
• システム行列 A が不安定な場合、最適測定周期 T* は有限であり、推定誤差が無制限に増大しないことを保証する。
• A が安定で測定コスト O が十分に大きい場合、最適戦略は測定を一切行わない（T* = ∞）であり、測定コストが利益を上回るためである。
• 価値関数は V(x) = x'Px + r として解析的に特徴付けられ、ここで P は修正された代数的リカッチ方程式を満たし、r は推定と測定コストの長期的寄与を含む。
• A のすべての固有値の大きさが 1 より厳密に小さい場合に限り、推定誤差共分散のトレースの和が収束する。これにより推定プロセスの安定性が保証される。