[논문 리뷰] Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness

Max Revay, Ruigang Wang외 1명|arXiv (Cornell University)|2021. 04. 13.

Neural Networks and Reservoir Computing인용 수 7

한 줄 요약

이 논문은 수축 이론과 증분 적분 제곱 제약 조건(IQC)을 통해 안정성과 강건성을 보장하는 새로운 종류의 미분 가능 동적 모델인 순환 평형 네트워크(RENs)를 소개한다. RENs는 제약 조건 없이 ℝ^N에 직접 매개변수화되어 있어 학습 시 제약 없는 최적화를 가능하게 하며, 모든 모델이 잘 정의되어 있고, 수축성이며, 입력 변동에 강건함을 보장한다. 응용 분야로는 시스템 식별, 관측기 설계, 안정성 보장이 가능한 제어가 포함된다.

ABSTRACT

This paper introduces recurrent equilibrium networks (RENs), a new class of nonlinear dynamical models} for applications in machine learning, system identification and control. The new model class admits ``built in'' behavioural guarantees of stability and robustness. All models in the proposed class are contracting -- a strong form of nonlinear stability -- and models can satisfy prescribed incremental integral quadratic constraints (IQC), including Lipschitz bounds and incremental passivity. RENs are otherwise very flexible: they can represent all stable linear systems, all previously-known sets of contracting recurrent neural networks and echo state networks, all deep feedforward neural networks, and all stable Wiener/Hammerstein models, and can approximate all fading-memory and contracting nonlinear systems. RENs are parameterized directly by a vector in R^N, i.e. stability and robustness are ensured without parameter constraints, which simplifies learning since \HL{generic methods for unconstrained optimization such as stochastic gradient descent and its variants can be used}. The performance and robustness of the new model set is evaluated on benchmark nonlinear system identification problems, and the paper also presents applications in data-driven nonlinear observer design and control with stability guarantees.

연구 동기 및 목표

• 기계 학습, 시스템 식별 및 제어 분야에서 사용 가능한 안정성과 강건성을 내재적으로 보장하는 비선형 동적 모델의 유연한 클래스를 개발하기 위해.
• 일반적인 신경망이 자주 안정성과 강건성 보장을 갖추지 못하고 입력 변동에 민감한 점을 극복하기 위해.
• 제약 없는 최적화나 복잡한 증명 절차 없이도 잘 정의된 모델, 수축성, 증분 강건성을 보장하는 매개변수화를 제공하기 위해.
• 기존의 RNN, 에코 스테이트 네트워크, 딥 피드포워드 네트워크, 안정적인 위너/하머스타인 시스템 등을 하나의 프레임워크 안에 통합하고 확장하기 위해.
• 표준 제약 없는 최적화 도구를 사용하여 안정성과 강건성을 보장하는 실용적인 학습 및 제어 응용을 가능하게 하기 위해.

제안 방법

• RENs는 출력이 고정점 방정식의 해로 정의되는 평형 네트워크(암시적 네트워크) 구조를 사용하여 잘 정의된 모델을 보장한다.
• 모델은 제약 조건 없이 ℝ^N에 직접 매개변수화되어 있어, 확률적 경사 하강법과 같은 표준 제약 없는 최적화 방법을 사용할 수 있다.
• 수축 이론을 통해 안정성을 강제하여, 초기 조건이나 입력에 관계없이 모든 궤적이 전역적으로 수렴함을 보장한다.
• 증분 적분 제곱 제약 조건(IQC)을 통해 강건성을 보장하며, 리프시츠 상수의 범위와 증분 수동성 등의 제약 조건을 포함하여 성능와 강건성 간의 트레이드오프를 가능하게 한다.
• 이 프레임워크는 안정적인 선형 시스템, 딥 피드포워드 네트워크, 수축성 RNN 등을 포함한 다양한 모델 유형을 특수 케이스로 포함할 수 있다.
• 스큐어 보조정리와 라파노프 기반 분석을 사용하여 이론적 보장을 도출하며, 검증이 가능하도록 선형 행렬 부등식(LMI) 형태로 조건을 제시한다.

실험 결과

연구 질문

• RQ1 안정성과 강건성이 후행 검증이 아닌 설계 단계에서 보장되는 딥 러닝 모델을 설계할 수 있는가?
• RQ2 RNN, 피드포워드 네트워크, 위너 시스템 등의 다양한 모델 유형을 하나의 안정적이고 강건한 아키텍처 안에 통합할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ3 표준 최적화 알고리즘을 사용해 학습을 단순화하기 위해 안정적이고 강건한 신경망 모델을 제약 없는 공간에 매개변수화할 수 있는가?
• RQ4 RENs는 일반적인 페이딩 메모리 및 수축성 비선형 시스템을 어느 정도 잘 근사하면서도 안정성과 강건성을 유지할 수 있는가?
• RQ5 RENs는 안정성과 수렴성 보장이 가능한 데이터 기반 관측기 및 제어기 설계에 효과적으로 적용될 수 있는가?

주요 결과

• RENs는 평형 네트워크의 구조와 시스템 행렬의 정정규성에 의해 존재성과 유일성이 보장되어 잘 정의되어 있음을 보장한다.
• 모든 REN 모델은 수축성이며, 초기 조건이나 입력에 관계없이 모든 궤적이 전역적으로 서로 수렴함을 의미하여 강력한 비선형 안정성을 보장한다.
• 사용자가 정의한 증분 IQC를 만족하며, 리프시츠 상수의 범위와 증분 수동성 등을 포함하여 입력 변동 및 악성 공격에 대한 강건성을 확보한다.
• ℝ^N에 대한 매개변수화 덕분에 제약 없는 최적화가 가능하여, 추가 제약 조건이나 정규화 없이 표준 학습 알고리즘(예: 확률적 경사 하강법)을 사용할 수 있다.
• RENs는 모든 안정적이고 페이딩 메모리가 있는 비선형 시스템을 근사할 수 있으며, 안정적인 선형 시스템, 수축성 RNN, 에코 스테이트 네트워크, 딥 피드포워드 네트워크를 특수 케이스로 포함한다.
• 기본 시스템 식별 작업에 대한 실증 평가에서 RENs는 고정밀도를 달성하면서도 강력한 안정성과 강건성을 유지하며, 민감도와 수렴성 측면에서 표준 RNN을 능가한다.