[論文レビュー] Model-Free Nonlinear Feedback Optimization

Zhiyu He, Saverio Bolognani+3 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Control Systems Optimization参考文献 55被引用数 1

ひとこと要約

この論文は、プラントのモデル知識が不要な非線形力学系のためのモデルフリーなフィードバック最適化コントローラーを提案する。入出力評価からの勾配推定と、制約を扱うフランク＝ウォルフ型更新を用いることで、問題の次元、反復回数、プラントのダイナミクスに比例する明示的な部分最適性の上限を伴い、近似的に最適な解への収束を保証する。

ABSTRACT

Feedback optimization is a control paradigm that enables physical systems to autonomously reach efficient operating points. Its central idea is to interconnect optimization iterations in closed-loop with the physical plant. Since iterative gradient-based methods are extensively used to achieve optimality, feedback optimization controllers typically require the knowledge of the steady-state sensitivity of the plant, which may not be easily accessible in some applications. In contrast, in this paper, we develop a model-free feedback controller for efficient steady-state operation of general dynamical systems. The proposed design consists of updating control inputs via gradient estimates constructed from evaluations of the nonconvex objective at the current input and at the measured output. We study the dynamic interconnection of the proposed iterative controller with a stable nonlinear discrete-time plant. For this setup, we characterize the optimality and stability of the closed-loop behavior as functions of the problem dimension, the number of iterations, and the rate of convergence of the physical plant. To handle general constraints that affect multiple inputs, we enhance the controller with Frank-Wolfe-type updates.

研究の動機と目的

• プラントのモデルが入手不可能または不正確な非線形力学系のステディステート操作最適化の課題に対処すること。
• プラントの感度やダイナミクスの知識を一切必要とせず、リアルタイムの入出力測定値のみに依存するフィードバック最適化コントローラーの開発。
• 一般非凸の目的関数と制約のもとで、未測定の摂動が存在しても近似的に最適な解への収束を保証すること。
• 閉ループ動作における収束速度、問題の次元、部分最適性のトレードオフを特定すること。
• フランク＝ウォルフ型反復更新を用いて、複数の入力制約を効果的に扱えるフレームワークに拡張すること。

提案手法

• 現在の入力と測定出力における目的関数の評価から有限差分を用いて勾配推定を構築し、モデルフリーな動作を実現する。
• 物理的プラントと閉ループで動作するフィードバックコントローラーを設計し、これらの勾配推定に基づいて制御入力を反復的に更新する。
• 離散時間非線形プラントで有界なダイナミクスを示す場合に安定性と収束性を確立するため、ラプラウスに基づく解析を採用する。
• 複数の入力を同時に影響する一般制約を扱うために、フランク＝ウォルフ型の更新を導入し、最適化中も制約を満たすことを保証する。
• 推定誤差を抑え、反復回数 T と摂動サイズ δ の観点から収束速度を導出するため、滑らか化された目的関数近似 ˜Φδ を用いる。
• 確率的近似技術と分散バウンドを適用して、推定勾配と真の勾配の誤差を制御し、部分最適性バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 一般非線形力学系に対して、プラントの感度の知識がなくても、どのようにモデルフリーなフィードバック最適化を実現できるか。
• RQ2 非凸の目的関数と非線形プラントダイナミクスのもとで、モデルフリーなフィードバックコントローラーの収束特性と部分最適性バウンドは何か。
• RQ3 問題の次元、反復回数、プラントの収束速度が、閉ループシステムの性能にどのように統合的に影響するか。
• RQ4 ペナルティ関数に依存せずに、制約処理をモデルフリーなフィードバック最適化に効果的に統合できるか。
• RQ5 測定ノイズとシステムダイナミクスが存在する状況で、勾配推定の精度、ステップサイズ、収束速度のトレードオフは何か。

主な発見

• 提案されたコントローラーは、期待値において O(1/√T) の部分最適性バウンドを達成し、問題の次元、プラントのダイナミクス、勾配推定誤差に明示的な依存関係を示す。
• ステップサイズを η = κ√ϵ/√T と設定し、摂動サイズを δ = ϵ/M とすることで、収束速度が O(1/√T) として定量的に特徴づけられる。
• 部分最適性バウンドには、ラプラウス関数の減衰率 µ や状態変動バウンドといったプラントダイナミクス関連の項が含まれており、より安定で速いプラントが収束を改善することを示している。
• フランク＝ウォルフ拡張により、最適化中も制約が満たされることが保証され、ペナルティ関数に依存する手法が制約を正確に満たせないという欠点を回避できる。
• 期待勾配推定誤差の厳密なバウンドが得られ、これは O(√(η²D² + δ²)) とスケーリングされ、D は入力集合の直径を表す。
• 理論的フレームワークは、測定ノイズと動的プラント行動の両方を考慮するラプラウスに基づく安定性解析によって検証され、摂動に対してロバストであることが保証されている。