[論文レビュー] Distributionally Robust Linear Quadratic Control

Bahar Taşkesen, Dan A. Iancu+2 more|arXiv (Cornell University)|May 26, 2023

Atmospheric and Environmental Gas Dynamics被引用数 4

ひとこと要約

本稿では、ノイズ分布が名目的なガウス分布を中心とするワサーベインのあいまいさ集合に属するが、その分布が未知であるという条件下で、分布的にロバストな線形二次ガウス（LQG）制御フレームワークを提案する。このロバスト化にもかかわらず、著者らは線形出力フィードバック制御則が最適のままであることを証明し、カルマンフィルタリングと動的計画法を活用するフランク＝ウォルフに基づくアルゴリズムを構築した。最悪ケースの分布はガウス分布であるため、標準的なLQGソルバーを用いて効率的な計算が可能となる。

ABSTRACT

Linear-Quadratic-Gaussian (LQG) control is a fundamental control paradigm that is studied in various fields such as engineering, computer science, economics, and neuroscience. It involves controlling a system with linear dynamics and imperfect observations, subject to additive noise, with the goal of minimizing a quadratic cost function for the state and control variables. In this work, we consider a generalization of the discrete-time, finite-horizon LQG problem, where the noise distributions are unknown and belong to Wasserstein ambiguity sets centered at nominal (Gaussian) distributions. The objective is to minimize a worst-case cost across all distributions in the ambiguity set, including non-Gaussian distributions. Despite the added complexity, we prove that a control policy that is linear in the observations is optimal for this problem, as in the classic LQG problem. We propose a numerical solution method that efficiently characterizes this optimal control policy. Our method uses the Frank-Wolfe algorithm to identify the least-favorable distributions within the Wasserstein ambiguity sets and computes the controller's optimal policy using Kalman filter estimation under these distributions.

研究の動機と目的

• 名目的なガウス分布を中心とするワサーベインのあいまいさ集合に含まれる、未知で非ガウスなノイズ分布を扱えるように、古典的なLQG制御問題を一般化すること。
• 分布的ロバスト性の下で、線形出力フィードバック制御則の最適性を確立すること。
• 大規模な半定値計画法に依存せずに、ロバスト制御問題を効率的に解くための計算アルゴリズムを開発すること。
• あいまいさ集合における最悪ケースの分布がガウス分布であることを示し、アルゴリズムで標準的なLQGソルバーを用いることを可能にすること。
• 実行時間と収束性の観点から、提案されたフランク＝ウォルフ法と直接的な半定値計画法（MOSEK）を比較すること。

提案手法

• 分布的にロバストなLQG問題を、ワサーベインボール内での制御方策と最悪ケースのノイズ分布の間のミニマックス最適化問題に再定式化する。
• 凸双対性と緩和技術（特に、ワサーベインボールをゲルブリッヒボールに置き換えること）を用いて、最悪ケースコストの上界を導出する。
• 観測値に関する線形方策に制限し、上界が下界と一致することを証明することで、線形制御則の最適性を確立する。
• 各反復でカルマンフィルタリングと動的計画法を用いて標準的なLQG問題を解くフランク＝ウォルフアルゴリズムを実装する。
• フランク＝ウォルフ更新ステップにおける目的関数の勾配を、PyTorchの自動微分を用いて計算する。
• 十分な減少を保証するため、バックトラック法（δ = 0.95）を用いたラインサーチ戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 ワサーベインのあいまいさ集合を用いた分布的にロバストなLQG設定において、線形出力フィードバック方策は依然として最適であるか？
• RQ2 このロバスト設定における最悪ケースのノイズ分布の構造はいかなるものか？
• RQ3 大規模な半定値計画法を解かずに、最適制御則を効率的に計算できるか？
• RQ4 この問題にフランク＝ウォルフ法を適用した場合、サブ線形収束率を達成できるか、並列化が可能か？
• RQ5 あいまいさ集合に非ガウス分布が含まれる場合でも、最悪ケースの分布はガウス分布であるか？

主な発見

• 分布的あいまいさの下でも、観測値に関する最適制御方策は線形のままである。これは古典的なLQG結果の一般化である。
• ワサーベインのあいまいさ集合内での最悪ケース分布はガウス分布である。これはロバスト制御問題を著しく単純化する。
• フランク＝ウォルフアルゴリズムは、最適性ギャップεに対してO(1/ε)のサブ線形収束率を達成する。
• すべての問題の履歴長に対して、フランク＝ウォルフ法は直接的な半定値計画法（MOSEK）よりも一貫して低い実行時間を達成する。
• T = 10の場合、フランク＝ウォルフ法はたった50反復で高い精度（最適性ギャップ10⁻³未満）に到達する。
• アルゴリズムは並列化に適しており、各フランク＝ウォルフ反復で効率的なLQGソルバーを活用でき、スケーラブルな計算が可能となる。