[論文レビュー] Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness

Max Revay, Ruigang Wang+1 more|arXiv (Cornell University)|Apr 13, 2021

Neural Networks and Reservoir Computing被引用数 7

ひとこと要約

本稿では、収縮理論および増分積分二次制約（IQC）を用いて安定性と耐障害性を保証する、微分可能な動的モデルの新規クラス、再帰的均衡ネットワーク（RENs）を紹介する。RENsはℝ^N上に直接パラメータ化されており、制約なしの最適化による学習が可能であり、すべてのモデルが適切に定義され、収縮的であり、入力摂動に対して耐障害性を示す。応用分野には、システム同定、オブザーバ設計、安定性保証付き制御が含まれる。

ABSTRACT

This paper introduces recurrent equilibrium networks (RENs), a new class of nonlinear dynamical models} for applications in machine learning, system identification and control. The new model class admits ``built in'' behavioural guarantees of stability and robustness. All models in the proposed class are contracting -- a strong form of nonlinear stability -- and models can satisfy prescribed incremental integral quadratic constraints (IQC), including Lipschitz bounds and incremental passivity. RENs are otherwise very flexible: they can represent all stable linear systems, all previously-known sets of contracting recurrent neural networks and echo state networks, all deep feedforward neural networks, and all stable Wiener/Hammerstein models, and can approximate all fading-memory and contracting nonlinear systems. RENs are parameterized directly by a vector in R^N, i.e. stability and robustness are ensured without parameter constraints, which simplifies learning since \HL{generic methods for unconstrained optimization such as stochastic gradient descent and its variants can be used}. The performance and robustness of the new model set is evaluated on benchmark nonlinear system identification problems, and the paper also presents applications in data-driven nonlinear observer design and control with stability guarantees.

研究の動機と目的

• 機械学習、システム同定、制御分野に応用可能な、安定性と耐障害性を内蔵的に保証する非線形動的モデルの柔軟なクラスの開発。
• 標準的なニューラルネットワークがしばしば安定性や耐障害性の保証を欠き、入力摂動に対して感受性であるという限界を克服すること。
• 制約付き最適化や複雑な証明手順を必要とせず、適切に定義されたモデル、収縮性、増分的耐障害性を保証するパラメータ化の提供。
• RNN、エコー状態ネットワーク、深層フィードフォワードネットワーク、安定なウィーナー／ハンマーシュタイン系といった既存モデルを統一的かつ拡張可能なフレームワークに統合すること。
• 標準的な制約なし最適化ツールを用いて、安定性および耐障害性を保証する学習および制御応用を可能にすること。

提案手法

• RENsは、出力が固定点方程式の解として定義される均衡ネットワーク（暗黙的ネットワーク）構造を用いて構築され、適切な定義が保証される。
• モデルはℝ^N上に直接パラメータ化されており、パラメータ制約の必要がなく、確率的勾配降下法などの標準的な制約なし最適化手法の使用が可能となる。
• 収縮理論を用いて安定性が強制され、初期条件や入力にかかわらずすべての軌道がグローバルに収束することが保証される。
• 増分積分二次制約（IQC）を用いて耐障害性が保証され、リプシッツ定数の上限や増分的パassing性を含む制約が可能となり、性能と耐障害性のトレードオフが可能となる。
• 安定な線形系、深層フィードフォワードネットワーク、収縮的RNNといった多様なモデルタイプを、特別なケースとして統合できる。
• シュール補行列とリャプノフベースの解析を用いて理論的保証を導出し、検証が容易な線形行列不等式（LMI）として条件を定式化する。

実験結果

リサーチクエスチョン

• RQ1 安定性と耐障害性が後から検証されるのでなく、構造的に保証されるような深層学習モデルを設計することは可能か？
• RQ2 RNN、フィードフォワードネットワーク、ウィーナー系といった多様なモデルクラスを、一つの安定的かつ耐障害的なアーキテクチャに統合する統一的フレームワークを構築することは可能か？
• RQ3 安定的かつ耐障害的なニューラルネットワークモデルを、制約のない空間にパラメータ化することで、標準的な最適化アルゴリズムによる学習を簡素化することは可能か？
• RQ4 RENsは、一般のフェーディングメモリおよび収縮的非線形系をどの程度正確に近似可能でありつつ、安定性と耐障害性を維持できるか？
• RQ5 RENsは、収束性および耐障害性の保証付きで、データ駆動型オブザーバおよびコントローラ設計に効果的に応用可能か？

主な発見

• RENsは適切に定義されており、均衡ネットワークの構造とシステム行列の正定値性により、解の存在と一意性が保証される。
• すべてのRENモデルは収縮的であり、初期条件や入力にかかわらず、すべての軌道が互いにグローバルに収束するため、強い非線形安定性が保証される。
• ユーザーが定義した増分IQCを満たしており、リプシッツ境界や増分的パassing性を含む。これにより、入力摂動や敵対的攻撃に対しても耐障害性が保証される。
• ℝ^N上でのパラメータ化により、制約なし最適化が可能となり、正則化や追加制約を必要とせず、標準的な学習アルゴリズム（例：確率的勾配降下法）の使用が可能となる。
• RENsは、すべての安定的でフェーディングメモリを持つ非線形系を近似可能であり、安定な線形系、収縮的RNN、エコー状態ネットワーク、深層フィードフォワードネットワークを特別なケースとして含む。
• ベンチマークシステム同定タスクにおける実験的評価では、RENsは高い精度を達成するとともに、強い安定性と耐障害性を維持しており、感度と収束性において標準的なRNNを上回っている。