[論文レビュー] Stability Analysis using Quadratic Constraints for Systems with Neural Network Controllers

He Yin, Peter Seiler+1 more|arXiv (Cornell University)|Jun 13, 2020

Fault Detection and Control Systems参考文献 27被引用数 14

ひとこと要約

本稿は、ニューラルネットワーク（NN）コントローラを備えたフィードバックシステムの安定性解析フレームワークを提案する。二次的制約（QC）を用い、リャプノフ理論と局所的セクターおよびオフ・バイ・ワン積分二次制約（IQCs）を組み合わせることで、漸近的安定性を証明し、半定値計画法（SDP）を用いて吸引領域（ROA）の楕円型内近似を計算する。主な貢献は、動的IQCsを活用してNN活性化関数の境界を厳密化し、保守的でないROA推定を可能にするとともに、アクチュエータの飽和や時間遅れなどのプラント不確実性に対しても解析を可能にする、頑健な解析手法の構築である。

ABSTRACT

A method is presented to analyze the stability of feedback systems with neural network controllers. Two stability theorems are given to prove asymptotic stability and to compute an ellipsoidal inner-approximation to the region of attraction (ROA). The first theorem addresses linear time-invariant systems, and merges Lyapunov theory with local (sector) quadratic constraints to bound the nonlinear activation functions in the neural network. The second theorem allows the system to include perturbations such as unmodeled dynamics, slope-restricted nonlinearities, and time delay, using integral quadratic constraint (IQCs) to capture their input/output behavior. This in turn allows for off-by-one IQCs to refine the description of activation functions by capturing their slope restrictions. Both results rely on semidefinite programming to approximate the ROA. The method is illustrated on systems with neural networks trained to stabilize a nonlinear inverted pendulum as well as vehicle lateral dynamics with actuator uncertainty.

研究の動機と目的

• ニューラルネットワークコントローラを有するフィードバックシステムにおける形式的安定性および安全性の証明が、その複雑で非線形な構造のため不足しているという問題に対処する。
• NNコントローラを備えたシステムの漸近的安定性を証明し、吸引領域（ROA）の内側近似を体系的に計算する手法を開発する。
• 積分二次制約（IQCs）を用いて、未モデル化ダイナミクス、時間遅れ、勾配制限付き非線形性を含む不確実システムへの安定性解析を拡張する。
• 静的セクター境界ではなく、動的でオフ・バイ・ワンのIQCsを組み込むことで、活性化関数の境界のタイトネスを向上させ、保守的でない境界を得る。
• IQCsを用いて摂動をモデル化し、SDPを解くことで、アクチュエータの不確実性および飽和に対する頑健性解析を可能にする。

提案手法

• 均衡入力周辺の局所的（セクター）二次的制約を用い、NNコントローラ内の非線形活性化関数を束縛することで、リャプノフに基づく安定性解析を可能にする。
• 安定性条件を半定値計画法（SDP）として定式化し、吸引領域（ROA）の楕円型内近似を計算する。
• 未モデル化ダイナミクス、時間遅れ、勾配制限付き非線形性などのプラント摂動を、入出力特性を捉える積分二次制約（IQCs）を用いてモデル化する。
• オフ・バイ・ワンIQCsを導入し、活性化関数の勾配制限をより正確に記述することで、静的セクターQCに比べて保守的でない境界を得る。
• IQCに基づく解析をSDPフレームワークに統合し、LTI摂動およびアクチュエータ飽和を含む不確実システムの頑健性証明を可能にする。
• 区間境界伝播（IBP）を用いて、NNコントローラの構造的性質を活用し、非保守的で局所的な静的および動的IQCsを導出する。

実験結果

リサーチクエスチョン

• RQ1 リャプノフ理論と二次的制約を用いて、ニューラルネットワークコントローラを備えたフィードバックシステムの漸近的安定性を正式に証明できるか？
• RQ2 NN制御系の吸引領域（ROA）に対して、保守的ではあるが計算可能な内側近似をどのように計算できるか？
• RQ3 オフ・バイ・ワンIQCsは、静的セクターQCに比べて、活性化関数の境界のタイトネスをどの程度向上できるか？
• RQ4 提案されたフレームワークは、時間遅れ、アクチュエータの飽和、未モデル化ダイナミクスといったプラント不確実性を処理でき、安定性保証を維持できるか？
• RQ5 実際の応用において、動的IQCsの導入が、計算されたROA内近似のサイズと保守性にどのように影響を与えるか？

主な発見

• 車両横方向制御の例において、オフ・バイ・ワンIQCsを用いることで、ROA楕円体のトレースが4.4から2.9に低下し、よりタイトで正確なROA近似が得られた。
• ROA行列の逆行列の行列式が3.2×10⁵から1.1×10⁶に増加し、オフ・バイ・ワンIQCsを用いた場合、ROA内近似の体積が3.4倍に拡大した。
• 入力バウンディングδvのSDP実行可能性閾値が、セクターIQCのみの場合の0.67から、オフ・バイ・ワンIQCを用いた場合の1.4に上昇し、より大きな入力不確実性に耐える能力が向上したことが示された。
• 本手法は、非線形倒立振子およびアクチュエータ不確実性を有する車両横方向ダイナミクス系の両方に対して、安定性の証明とROA内近似の計算に成功した。
• フレームワークは、IQCsを用いて摂動をモデル化することで、非LTIプラントの解析を可能にした。これは、従来のLTI仮定を越えた拡張である。
• 結果から、動的IQCsは、特に区間境界伝播を用いてNN活性化にタイトな局所的制約を導出する場合に、安定性解析における保守性を顕著に低減することが示された。