[논문 리뷰] Non-normal Recurrent Neural Network (nnRNN): learning long time dependencies while improving expressivity with transient dynamics

Giancarlo Kerg, Kyle Goyette외 5명|PolyPublie (École Polytechnique de Montréal)|2019. 05. 28.

Neural Networks and Applications참고 문헌 27인용 수 19

한 줄 요약

이 논문은 비정규 동역학을 통합함으로써 표현력을 향상시키면서도 직교 RNN의 안정적인 기울기 흐름을 유지하는 새로운 순환 신경망 아키텍처인 nnRNN을 제안한다. 반복 가중치 행렬의 정규 및 비정규 성분을 분리하기 위해 슈어 분해를 활용함으로써 nnRNN은 복잡한 시계열 계산에 필수적인 일시적 동역학을 가능하게 하면서도 학습 안정성과 속도를 손상시키지 않는다. 이로 인해 지속적인 계산이 필요한 작업에서 기존 직교 RNN을 능가한다.

ABSTRACT

A recent strategy to circumvent the exploding and vanishing gradient problem in RNNs, and to allow the stable propagation of signals over long time scales, is to constrain recurrent connectivity matrices to be orthogonal or unitary. This ensures eigenvalues with unit norm and thus stable dynamics and training. However this comes at the cost of reduced expressivity due to the limited variety of orthogonal transformations. We propose a novel connectivity structure based on the Schur decomposition and a splitting of the Schur form into normal and non-normal parts. This allows to parametrize matrices with unit-norm eigenspectra without orthogonality constraints on eigenbases. The resulting architecture ensures access to a larger space of spectrally constrained matrices, of which orthogonal matrices are a subset. This crucial difference retains the stability advantages and training speed of orthogonal RNNs while enhancing expressivity, especially on tasks that require computations over ongoing input sequences.

연구 동기 및 목표

• 안정적인 기울기 흐름에도 불구하고 직교 RNN의 표현력이 제한되어 있으며, 이는 오직 직교 고유공간으로만 제한되기 때문이다.
• 순환 네트워크에서 안정적인 장기 의존성 학습과 계산 표현력 사이의 상충 관계를 극복하기 위해 노력한다.
• 스펙트럼 안정성은 유지하면서도 비직교 고유기저를 허용하여 일시적 동역학을 가능하게 하는 학습 가능한 RNN 아키텍처를 개발한다.
• 고유값 노름과 비정규성에 대한 명시적 제어를 가능하게 하여 기울기 안정성과 계산 유연성의 균형을 이룬다.
• 학습 과정에서 비정규 연결성이 자연스럽게 발생하며, 이는 시계열에 대한 온라인 계산이 필요한 작업에서 성능 향상에 기여한다.

제안 방법

• 반복 가중치 행렬을 유니터리 행렬과 상부 삼각행렬의 곱으로 매개변수화하기 위해 슈어 분해를 사용하여 정규(대각선) 및 비정규(비대각선) 성분을 분리한다.
• 완전한 슈어 분해를 명시적으로 계산하지 않고도 정규 및 비정규 성분으로 분해함으로써 효율적인 최적화를 가능하게 한다.
• 정규 성분에는 단위 고유값 노름을 유지하기 위한 독립적 정규화를, 비정규 성분에는 일시적 동역학을 제어하기 위한 정규화를 적용한다.
• 분해된 성분들에 표준 최적화 알고리즘을 적용함으로써 직교 RNN의 학습 속도와 안정성을 유지한다.
• 고유값 노름의 평균을 정규화하기 위해 파라미터 γ를 도입하여 단위 노름에서의 제어된 이탈을 가능하게 하여 기울기 안정성과 표현력의 균형을 이룬다.
• 정규 및 비정규 성분에 대한 제약 조건을 적용한 표준 역전파 알고리즘을 사용하여 학습 중 비정규적 구조의 동적 발생을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직교 RNN의 표현력을 손상시키지 않고도 장기 의존성 학습 능력을 유지하면서 표현력을 향상시킬 수 있는가?
• RQ2 비정규 연결성에 의해 가능해지는 일시적 동역학은 시계열의 지속적 계산이 필요한 작업에서 얼마나 성능 향상에 기여하는가?
• RQ3 비직교 고유기저를 허용하면서도 직교 RNN의 학습 안정성과 속도를 유지할 수 있는가?
• RQ4 정규 및 비정규 성분 간의 균형이 기울기 전파 및 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처는 비정규 동역학을 자연스럽게 학습할 수 있으며, 이러한 작업에서 기존 직교 RNN과 비교해 어떻게 성능가능한가?

주요 결과

• nnRNN은 장기 기억이 필수적인 복제 작업과 같은 작업에서 최첨단 직교 RNN과 유사한 성능을 달성하면서도 유사한 학습 속도를 유지한다.
• PTB 언어 모델링 작업과 같이 시계열에 대한 온라인 계산이 필요한 작업에서는 비정규 연결성의 발생으로 인해 nnRNN이 직교 RNN을 능가한다.
• PTB 작업에서 학습된 nnRNN 행렬의 평균 고유값 노름은 약 0.958로, 일시적 동역학을 가능하게 하기 위해 단위 노름에서의 제어된 이탈이 이루어지고 있음을 시사한다.
• 복제 작업에서는 고유값 노름의 평균이 약 1.0에 가까워 거의 정규적인 상태를 유지함을 확인하여 비정규성이 필요할 때만 발생함을 입증한다.
• 비정규 성분의 추가는 직교 행렬 외의 스펙트럼 제약이 가해진 더 큰 행렬 공간에 접근함으로써 모델의 표현력을 증가시킨다.
• γ(고유값 노름)에 대한 정규화와 비정규 성분에 대한 가중치 감쇠 정규화가 가장 안정적인 학습과 최고의 성능을 이끌어내어 안정성과 표현력의 균형이 중요하다는 것을 입증한다.