[논문 리뷰] Contracting Implicit Recurrent Neural Networks: Stable Models with Improved Trainability

Max Revay, Ian R. Manchester|arXiv (Cornell University)|2019. 12. 22.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 수축 분석 기반의 제약 조건을 통해 모델 안정성을 보장하는 새로운 RNN 아키텍처인 계약형 암시적 순환 신경망(ci-RNNs)을 제안한다. 이는 더 빠른 학습과 향상된 일반화를 가능하게 한다. 수축 분석과 구조화된 초기화 방법을 활용함으로써 ci-RNNs는 일반 RNNs와 안정성 확보 RNNs(s-RNNs)보다 뛰어난 성능을 보이며, 특히 인간의 보행 예측과 같은 장기 시퀀스 작업에서 더 빠른 수렴 속도와 더 적은 불안정한 학습 경로를 기록한다.

ABSTRACT

Stability of recurrent models is closely linked with trainability, generalizability and in some applications, safety. Methods that train stable recurrent neural networks, however, do so at a significant cost to expressibility. We propose an implicit model structure that allows for a convex parametrization of stable models using contraction analysis of non-linear systems. Using these stability conditions we propose a new approach to model initialization and then provide a number of empirical results comparing the performance of our proposed model set to previous stable RNNs and vanilla RNNs. By carefully controlling stability in the model, we observe a significant increase in the speed of training and model performance.

연구 동기 및 목표

• 안정성 부족과 학습 어려움 문제를 겪는 순환 신경망(RNNs)의 문제를 해결하기 위해, 특히 안전이 중요한 응용 분야에서의 적용을 목적으로 한다.
• 스펙트럼 노름 투영과 같은 비볼록 제약 조건이 필요 없는, 수축 분석을 활용한 안정 RNN의 볼록 매arameterization을 개발한다.
• 표현력은 유지하면서 안정성을 확보하는 초기화 기법을 설계하여 학습 속도 향상과 모델 성능 향상을 도모한다.
• 안정 RNN은 일반화 성능을 훼손하지 않으면서도 더 효율적으로 학습될 수 있음을 시스템 식별 및 보행 예측와 같은 실험 기반 벤치마크를 통해 입증한다.
• 스펙트럼 노름 제약 조건과 달리, 수축 기반 안정성 제약 조건은 학습을 저해하지 않으며, 이는 수렴 속도에 영향을 주지 않음을 보여준다.

제안 방법

• 숨은 상태 동역학이 고정점 방정식으로 정의되는 암시적 RNN 아키텍처를 제안한다: $ x = \text{ReLU}(E x + W u) $, 여기서 $ E $ 와 $ W $ 는 학습 가능한 행렬이다.
• 수축 이론을 활용해 볼록 안정성 조건을 도입한다: $ \Sigma \succ 0 $, 여기서 $ \Sigma = \text{diag}(\sigma_i) $ 로, 이는 인접한 궤적의 지수 수렴을 보장한다.
• 수축 조건을 통해 안정성 제약 조건의 볼록 매개변수화를 유도함으로써, 효율적인 최적화와 안정적인 학습을 가능하게 한다.
• 수축 조건을 만족하는 안정 행렬로 $ E $ 를 초기화하고, $ W $ 는 무작위로 초기화하되 적절한 스케일링을 적용하는 새로운 초기화 기법을 제안한다.
• 과잉 매개변수화를 통해 더 표현력 있는 동역학을 가능하게 하면서도, 스펙트럼 노름 투영이 필요 없도록 한다.
• 수축 메트릭을 활용해 평형점이나 입력에 관계없이 증분 안정성을 확보함으로써, 유한 입력-유한 출력 및 입력 편향에 대한 강건성을 보장한다.

실험 결과

연구 질문

• RQ1 수축 분석을 활용해 안정 RNN의 볼록 매개변수화를 유도할 수 있는가? 이는 학습 가능성과 일반화 성능 향상에 기여하는가?
• RQ2 볼록 제약 조건을 통한 수축 안정성 강제가 비제약 또는 스펙트럼 노름 제약 RNN보다 더 빠른 학습을 이끌 수 있는가?
• RQ3 제안된 초기화 기법이 순차적 작업에서 학습 시간을 크게 줄일 수 있는가? 이와 동시에 성능 유지는 물론 향상할 수 있는가?
• RQ4 보행 예측 작업에서 ci-RNN의 성능은 일반 RNN과 s-RNN에 비해 다수의 참가자에 대해 테스트 오차와 안정성 측면에서 어떻게 비교되는가?
• RQ5 수축 제약 조건은 학습 속도를 저해하는가, 아니면 스펙트럼 노름 제약 조건에 비해 더 빠른 수렴을 가능하게 하는가?

주요 결과

• 시뮬레이션 데이터의 학습 오차 곡선을 통해 ci-RNNs가 일반 RNNs와 s-RNNs보다 유의미하게 더 빠른 수렴 속도를 보였다.
• 제안된 초기화 기법은 암시적 모델에서 표준 초기화 대비 학습 시간을 50% 이상 단축시켰으며, 안정성이나 성능에 영향을 주지 않았다.
• 보행 예측 작업에서 ci-RNNs는 모든 참가자와 모델 깊이에서 일반 RNN과 s-RNN을 모두 압도했으며, 테스트 세트에서 더 낮은 정규화 시뮬레이션 오차(NSE)를 기록했다.
• 모든 ci-RNNs가 해당하는 s-RNN 모델보다 우수했으며, 3층 모델의 100%에서 더 낮은 테스트 NSE를 기록했고, 불안정한 모델은 관측되지 않았다.
• 스펙트럼 노름 제약 조건이 학습 속도를 심각하게 저해하는 것과 달리(예: 투영이 적용된 RNN에서 관찰된 것처럼), 수축 제약 조건은 최적화를 저해하지 않아 더 빠른 수렴을 가능하게 했다.
• 수축 제약 조건이 부여된 암시적 모델 아키텍처는 일반화 성능이 더 뛰어나며, 보행 예측 작업에서 더 낮은 테스트 NSE와 함께 경로 오차가 유한하지 않은 경우가 없음을 통해 이를 입증했다.