[論文レビュー] $l_2$ Induced Norm Analysis of Discrete-Time LTI Systems for Nonnegative Input Signals and Its Application to Stability Analysis of Recurrent Neural Networks

Yoshio Ebihara, Hayato Waki+4 more|arXiv (Cornell University)|Nov 25, 2020

Stability and Control of Uncertain Systems参考文献 24被引用数 8

ひとこと要約

本稿では、非負の入力信号を有する離散時間LTIシステムにおける「正の」$l_2$ 诱导ノルムを導入し、非負性を考慮したコポジティブプログラミングと半定値プログラミング（SDP）の緩和を用いて、上界と下界を計算する手法を提示する。この手法により、ReLU活性化関数を有する再帰的ニューラルネットワーク（RNN）のより良い小利得型安定性解析が可能となり、従来手法に比べてより緊密な安定性条件が得られる。

ABSTRACT

In this paper, we focus on the "positive" $l_2$ induced norm of discrete-time linear time-invariant systems where the input signals are restricted to be nonnegative. To cope with the nonnegativity of the input signals, we employ copositive programming as the mathematical tool for the analysis. Then, by applying an inner approximation to the copositive cone, we derive numerically tractable semidefinite programming problems for the upper and lower bound computation of the "positive" $l_2$ induced norm. This norm is typically useful for the stability analysis of feedback systems constructed from an LTI system and nonlinearities where the nonlinear elements provide only nonnegative signals. As a concrete example, we illustrate the usefulness of the "positive" $l_2$ induced norm for the stability analysis of recurrent neural networks with activation functions being rectified linear units.

研究の動機と目的

• 非負の入力制約下での離散時間LTIシステムの$l_2$ 诱导ノルムを計算可能な枠組みとして開発すること。
• 標準の周波数領域解析が不可能な時間領域における非負性制約に起因する課題に対処すること。
• 非負の信号しか出力しない非線形性（例：ReLUベースのRNN）を含むフィードバックシステムの改善された安定性解析を可能にすること。
• コポジティブ錐の内部近似を用いて、正の$l_2$ 诱导ノルムの数値的に取り扱える上界および下界を提供すること。
• 提案されたノルムが、ReLU活性化関数を有するRNNに対して、より保守的でない安定性条件を導出できるかを実証すること。

提案手法

• 入力信号の非負性を捉えるために、正の$l_2$ 诱导ノルムをコポジティブプログラミング（COP）問題として定式化する。
• コポジティブ錐を、正定値行列の錐と非負行列の錐の和（$\mathcal{PSD} + \mathcal{NN}$）による内部近似で置き換える。
• 得られたCOP問題を、上界および下界の計算に適した数値的に取り扱いやすい半定値計画問題（SDP）に変換する。
• Lyapunovに基づく解析フレームワークに正の$l_2$ ノルムを組み込むことで、RNNに適したスケーリング小利得型安定性条件を導出する。
• 得られたSDP条件を用いて、RNNの重みパラメータの変動にわたる有限利得$l_2$ 安定性を検証する。
• 数値例を用いて、提案手法と標準的小利得条件を比較し、性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 入力信号が非負に制約される場合、離散時間LTIシステムの$l_2$ 诱导ノルムはどのように解析可能か？
• RQ2 時間領域における非負性制約をシステムノルム解析で取り扱うために有効な数学的ツールは何か？
• RQ3 コポジティブプログラミングおよびそのSDP緩和は、正の$l_2$ 诱导ノルムの計算可能な境界を提供できるか？
• RQ4 正の$l_2$ 诱导ノルムは、ReLU活性化関数を有するRNNの安定性解析をどのように改善するか？
• RQ5 提案手法は、標準的小利得条件に比べて、RNN安定性テストにおいてどの程度保守的でないか？

主な発見

• 提案手法は、コポジティブ錐の内部近似を用いて、取り扱い可能なSDP問題に変換することで、正の$l_2$ 诱导ノルムの上界および下界を計算可能である。
• ReLU活性化関数を有するRNNにおいて、標準的小利得条件（SSG）が失敗するパラメータ対$(a,b)$ に対しても、新しい安定性条件（SSG+COP）が妥当であることが示され、保守的でないことが実証された。
• 数値結果から、SSG+COP条件が標準的小利得条件（SSG）よりも広いパラメータ変動領域で安定性を認証できた。
• 正の$l_2$ 诱导ノルム解析により、ReLU非線形性を有するRNNにおける有限利得$l_2$ 安定性のより正確な評価が可能になった。
• 特に非線形出力が本質的に非負であるシステムでは、標準的小利得解析に比べてより緊密な安定性マージンが達成された。
• 標準$l_2$ ノルムが小利得閾値未満であっても、信号の非負性を活用することで本手法は有効である。