[논문 리뷰] $l_2$ Induced Norm Analysis of Discrete-Time LTI Systems for Nonnegative Input Signals and Its Application to Stability Analysis of Recurrent Neural Networks

Yoshio Ebihara, Hayato Waki외 4명|arXiv (Cornell University)|2020. 11. 25.

Stability and Control of Uncertain Systems참고 문헌 24인용 수 8

한 줄 요약

이 논문은 비음성 입력 신호를 갖는 이산시간 선형 시간 불변(LTI) 시스템에 대한 '양성' $l_2$ 유도 노름을 도입하며, 공존성 프로그래밍과 준정부분행렬 프로그래밍(SDP) 근사화를 활용하여 상한과 하한을 계산한다. 이 방법은 ReLU 활성화를 갖는 순환 신경망(RNN)의 개선된 소-게인 유형 안정성 분석을 가능하게 하여 기존 방법보다 더 날카운 안정성 조건을 도출한다.

ABSTRACT

In this paper, we focus on the "positive" $l_2$ induced norm of discrete-time linear time-invariant systems where the input signals are restricted to be nonnegative. To cope with the nonnegativity of the input signals, we employ copositive programming as the mathematical tool for the analysis. Then, by applying an inner approximation to the copositive cone, we derive numerically tractable semidefinite programming problems for the upper and lower bound computation of the "positive" $l_2$ induced norm. This norm is typically useful for the stability analysis of feedback systems constructed from an LTI system and nonlinearities where the nonlinear elements provide only nonnegative signals. As a concrete example, we illustrate the usefulness of the "positive" $l_2$ induced norm for the stability analysis of recurrent neural networks with activation functions being rectified linear units.

연구 동기 및 목표

• 비음성 입력 제약 조건 하에서 이산시간 LTI 시스템의 $l_2$ 유도 노름을 분석하기 위한 계산적으로 실현 가능한 프레임워크를 개발하는 것.
• 표준 주파수 도메인 분석을 방해하는 시간 도메인 비음성 제약 조건을 다루는 데 도전하는 것.
• 비음성 신호만 생성하는 비선형성(예: ReLU 기반 RNN)을 포함하는 피드백 시스템의 개선된 안정성 분석을 가능하게 하는 것.
• 공존성 쌍의 내부 근사화를 이용해 양성 $l_2$ 유도 노름에 대한 수치적으로 실현 가능한 상한과 하한을 제공하는 것.
• 제안된 노름이 ReLU 활성화 함수를 갖는 RNN에 대해 더 보수적이지 않은 안정성 조건을 도출하는 데의 효과를 입증하는 것.

제안 방법

• 입력 신호의 비음성 성질을 반영하기 위해 양성 $l_2$ 유도 노름을 공존성 프로그래밍(COP) 문제로 재구성하는 것.
• 공존성 쌍을 정규화된 준정부분행렬 쌍과 비음성 행렬 쌍의 합($\mathcal{PSD} + \mathcal{NN}$)으로 대체하여 공존성 쌍의 내부 근사화를 적용하는 것.
• 결과적으로 도출된 COP 문제를 수치적으로 실현 가능한 준정부분행렬 프로그램(SDP)으로 변환하여 상한과 하한을 계산하는 것.
• 리아푸노프 기반 분석 프레임워크에 양성 $l_2$ 노름을 통합하여 RNN에 대한 스케일드 소-게인 유형 안정성 조건을 유도하는 것.
• 유도된 SDP 조건을 활용해 RNN 가중치의 파rameter 변화에 대한 유한 이득 $l_2$ 안정성 테스트를 수행하는 것.
• 수치 예제를 통해 제안된 방법과 표준 소-게인 조건을 비교하여 성능 향상을 검증하는 것.

실험 결과

연구 질문

• RQ1 입력 신호가 비음성으로 제약될 경우, 이산시간 LTI 시스템의 $l_2$ 유도 노름은 어떻게 분석할 수 있는가?
• RQ2 시스템 노름 분석에서 시간 도메인 비음성 제약 조건을 다루는 데 효과적인 수학적 도구는 무엇인가?
• RQ3 공존성 프로그래밍과 그 SDP 근사화는 양성 $l_2$ 유도 노름에 대한 계산 가능한 상한과 하한을 제공할 수 있는가?
• RQ4 양성 $l_2$ 유도 노름은 ReLU 활성화 함수를 갖는 RNN의 안정성 분석을 어떻게 향상시키는가?
• RQ5 제안된 방법은 RNN 안정성 테스트에서 표준 소-게인 조건에 비해 얼마나 보수적인가를 감소시키는가?

주요 결과

• 제안된 방법은 공존성 쌍의 내부 근사화를 활용하여 실현 가능한 SDP를 통해 양성 $l_2$ 유도 노름의 상한과 하한을 계산한다.
• ReLU 활성화를 갖는 RNN에 대해, 새로운 안정성 조건(SSG+COP)은 기존 표준 소-게인 조건(SSG)이 실패한 매개변수 조합 $(a,b)$ 에서도 타당성을 입증하여 보수성 감소를 입증한다.
• 수치 결과는 SSG+COP 조건이 표준 SSG 조건보다 더 넓은 매개변수 변화 영역에서 안정성을 성공적으로 인증함을 보여준다.
• 양성 $l_2$ 유도 노름 분석은 ReLU 비선형성을 갖는 RNN에서의 유한 이득 $l_2$ 안정성에 대해 더 정확한 평가를 가능하게 한다.
• 특히 비선형 출력이 본질적으로 비음성인 시스템에서 표준 소-게인 분석에 비해 더 날카운 안정성 마진을 달성한다.
• 표준 $l_2$ 노름이 소-게인 임계값 이하일 때조차도, 신호의 비음성 성질을 활용함으로써 이 방법은 효과적으로 작용한다.