[论文解读] $l_2$ Induced Norm Analysis of Discrete-Time LTI Systems for Nonnegative Input Signals and Its Application to Stability Analysis of Recurrent Neural Networks

Yoshio Ebihara, Hayato Waki+4 more|arXiv (Cornell University)|Nov 25, 2020

Stability and Control of Uncertain Systems参考文献 24被引用 8

一句话总结

本文针对具有非负输入信号的离散时间线性时不变（LTI）系统，提出了 '正向' $l_2$ 诱导范数，利用共正定规划（copositive programming）与半定规划（SDP）松弛方法，计算上界与下界。该方法实现了对具有 ReLU 激活函数的循环神经网络（RNNs）的改进型小增益类型稳定性分析，其稳定性条件比标准方法更紧致。

ABSTRACT

In this paper, we focus on the "positive" $l_2$ induced norm of discrete-time linear time-invariant systems where the input signals are restricted to be nonnegative. To cope with the nonnegativity of the input signals, we employ copositive programming as the mathematical tool for the analysis. Then, by applying an inner approximation to the copositive cone, we derive numerically tractable semidefinite programming problems for the upper and lower bound computation of the "positive" $l_2$ induced norm. This norm is typically useful for the stability analysis of feedback systems constructed from an LTI system and nonlinearities where the nonlinear elements provide only nonnegative signals. As a concrete example, we illustrate the usefulness of the "positive" $l_2$ induced norm for the stability analysis of recurrent neural networks with activation functions being rectified linear units.

研究动机与目标

• 开发一种计算上可行的框架，用于分析在非负输入约束下离散时间 LTI 系统的 $l_2$ 诱导范数。
• 解决时域非负性约束带来的挑战，这些约束使得标准频域分析方法失效。
• 实现对包含仅产生非负信号的非线性环节的反馈系统的改进型稳定性分析，例如基于 ReLU 的 RNN。
• 利用共正定锥的内逼近方法，提供正向 $l_2$ 诱导范数的数值可处理上界与下界。
• 通过实验证明所提出的范数在推导 ReLU 激活函数 RNN 的更少保守性稳定性条件方面的有效性。

提出的方法

• 将正向 $l_2$ 诱导范数建模为共正定规划（COP）问题，以捕捉输入信号的非负性。
• 通过用正定半锥与非负矩阵锥之和（$\mathcal{PSD} + \mathcal{NN}$）替换共正定锥，实现其内逼近。
• 将所得 COP 问题转化为数值上可处理的半定规划（SDP），用于上界与下界的计算。
• 通过将正向 $l_2$ 范数引入基于李雅普诺夫的分析框架，推导出 RNN 的缩放型小增益稳定性条件。
• 利用所得 SDP 条件测试 RNN 权重参数变化下的有限增益 $l_2$ 稳定性。
• 通过数值示例将所提方法与标准小增益条件进行比较，验证性能提升。

实验结果

研究问题

• RQ1 当输入信号被约束为非负时，如何分析离散时间 LTI 系统的 $l_2$ 诱导范数？
• RQ2 在系统范数分析中，处理时域非负性约束的有效数学工具是什么？
• RQ3 共正定规划及其 SDP 松弛能否提供正向 $l_2$ 诱导范数的可计算上下界？
• RQ4 正向 $l_2$ 诱导范数如何改进具有 ReLU 激活函数的 RNN 的稳定性分析？
• RQ5 与标准小增益条件相比，所提方法在 RNN 稳定性测试中在多大程度上减少了保守性？

主要发现

• 所提方法通过共正定锥的内逼近，利用可处理的 SDP 问题，计算出正向 $l_2$ 诱导范数的上界与下界。
• 对于具有 ReLU 激活的 RNN，新稳定性条件（SSG+COP）在标准小增益条件（SSG）失效的参数对 $(a,b)$ 上仍可行，表明其保守性更低。
• 数值结果表明，SSG+COP 条件在比标准 SSG 条件更大的参数变化区域内成功认证了稳定性。
• 正向 $l_2$ 诱导范数分析使对具有 ReLU 非线性的 RNN 的有限增益 $l_2$ 稳定性评估更加准确。
• 与标准小增益分析相比，该方法在非线性输出本质上为非负的系统中实现了更紧致的稳定性裕度。
• 由于利用了信号的非负性，即使标准 $l_2$ 范数低于小增益阈值，该方法依然有效。