[論文レビュー] Online switching control with stability and regret guarantees

Yingying Li, James A. Preiss+4 more|arXiv (Cornell University)|Jan 20, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本論文は、未知のダイナミクスと時間変動するコスト関数を有するシステムに対して、有限個の候補コントローラ（一部は不安定である可能性あり）のプールを用い、オンラインでスイッチング制御を行うアルゴリズムを提案する。この手法は、有限利得安定性と、最良の安定化コントローラーに対するサブラインアクレグレットを保証する。本手法は、適応的スイッチングと安定性を考慮した探索を組み合わせ、最良の安定化コントローラーが事前に不明であっても、ロバストな性能を確保する。

ABSTRACT

This paper considers online switching control with a finite candidate controller pool, an unknown dynamical system, and unknown cost functions. The candidate controllers can be unstabilizing policies. We only require at least one candidate controller to satisfy certain stability properties, but we do not know which one is stabilizing. We design an online algorithm that guarantees finite-gain stability throughout the duration of its execution. We also provide a sublinear policy regret guarantee compared with the optimal stabilizing candidate controller. Lastly, we numerically test our algorithm on quadrotor planar flights and compare it with a classical switching control algorithm, falsification-based switching, and a classical multi-armed bandit algorithm, Exp3 with batches.

研究の動機と目的

• 未知の非線形ダイナミクスと時間変動するコスト関数を有するシステムにおけるオンラインスイッチング制御を扱う。
• 候補コントローラーのうち唯一の安定化コントローラーが存在するが、事前にその特定が不可能な状況においても、有限利得安定性を保証する。
• 最適な安定化候補コントローラーと比較してサブライン政策レグレットを達成する。
• 不確実性下での安定性のための探索とパフォーマンス最適化のバランスを取る実用的なアルゴリズムを設計する。
• 実世界のダイナミクス（例：クアッドコプターの平面飛行）において、古典的手法と比較して本手法を検証する。

提案手法

• 本アルゴリズムは、不安定なポリシーを含む有限個の候補コントローラーのプールを用い、リアルタイムフィードバックに基づいてそれらを動的にスイッチングする。
• 少なくとも1つの候補コントローラーが安定化可能であるという仮定を活用し、システムの安定性を維持する可能性の高いコントローラーを優先する安定性を考慮した探索メカニズムを組み込む。
• 最良の安定化コントローラーを後悔最小化フレームワークで比較し、パフォーマンスを最適化する。
• リャプノフに基づく安定性解析により、探索中でさえも、制御区間全体にわたり有限利得安定性を保証する。
• アルゴリズムは、システムモデルの知識を必要とせず、リアルタイムにコントローラー選択を更新できるように、適応的かつオンラインに設計されている。
• オンライン学習とロバスト制御の原則を統合し、安定性保証とパフォーマンスのレグレットバウンドを両立する。

実験結果

リサーチクエスチョン

• RQ1 唯一の安定化コントローラーが存在するが、それが事前に不明である状況において、オンラインスイッチング制御アルゴリズムが有限利得安定性を保証できるか？
• RQ2 未知のダイナミクスと時間変動するコスト関数の下で、最適な安定化コントローラーと比較してサブラインレグレットを達成できるか？
• RQ3 実世界のシステムにおいて、本手法は古典的手法のスイッチング制御やマルチアームドバンディット手法と比較して、性能と安定性で優れているか？
• RQ4 不安定な候補ポリシーを有するオンライン制御において、安定性のための探索とパフォーマンス最適化のトレードオフは何か？
• RQ5 システムモデルやコスト関数の事前知識がなくても、安定性とパフォーマンスを維持できるか？

主な発見

• 提案されたアルゴリズムは、安定化コントローラーが事前に特定できない状況においても、制御区間全体にわたり有限利得安定性を保証する。
• 最適な安定化候補コントローラーと比較して、サブライン政策レグレットを達成しており、長期的には最良の選択に近いパフォーマンスを示す。
• クアッドコプターの平面飛行における数値実験では、偽装ベーススイッチングとExp3バンディットアルゴリズムの両方を上回る安定性とコスト最小化性能を示した。
• 初期のコントローラーが不安定であっても、適応的スイッチングにより安定化コントローラーを効果的に同定・活用する。
• 完全なシステムモデルの知識がなくても、一般の非線形ダイナミクスに加えプロセスノイズが存在する状況でも安定性保証が成立する。
• 時間変動するコスト関数を伴う動的環境においても、アルゴリズムはロバスト性とパフォーマンスを維持する。