[논문 리뷰] Improved memory in recurrent neural networks with sequential non-normal dynamics

A. Emin Orhan, Xaq Pitkow|arXiv (Cornell University)|2019. 05. 31.

Neural Networks and Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 장기 기억을 향상시키기 위해 순환 신경망(RNNs)을 정규 직교 행렬 대신 순차적 비정규 동역학—특히 사슬 모양의 피드포워드 가중치 구조—로 초기화하는 방법을 제안한다. 노름 보존 대신 신호 대 잡음 비율(SNR)을 최대화함으로써, 비정규 RNN은 순차적 작업에서 정규 직교 대비 뛰어난 성능을 보이며, 훈련된 보통 RNN과 LSTMs는 특히 tanh 업데이트 게이트에서 비정규, 사슬 모양의 모티프를 자연스럽게 나타낸다.

ABSTRACT

Training recurrent neural networks (RNNs) is a hard problem due to degeneracies in the optimization landscape, a problem also known as vanishing/exploding gradients. Short of designing new RNN architectures, previous methods for dealing with this problem usually boil down to orthogonalization of the recurrent dynamics, either at initialization or during the entire training period. The basic motivation behind these methods is that orthogonal transformations are isometries of the Euclidean space, hence they preserve (Euclidean) norms and effectively deal with vanishing/exploding gradients. However, this ignores the crucial effects of non-linearity and noise. In the presence of a non-linearity, orthogonal transformations no longer preserve norms, suggesting that alternative transformations might be better suited to non-linear networks. Moreover, in the presence of noise, norm preservation itself ceases to be the ideal objective. A more sensible objective is maximizing the signal-to-noise ratio (SNR) of the propagated signal instead. Previous work has shown that in the linear case, recurrent networks that maximize the SNR display strongly non-normal, sequential dynamics and orthogonal networks are highly suboptimal by this measure. Motivated by this finding, here we investigate the potential of non-normal RNNs, i.e. RNNs with a non-normal recurrent connectivity matrix, in sequential processing tasks. Our experimental results show that non-normal RNNs outperform their orthogonal counterparts in a diverse range of benchmarks. We also find evidence for increased non-normality and hidden chain-like feedforward motifs in trained RNNs initialized with orthogonal recurrent connectivity matrices.

연구 동기 및 목표

• 정규 직교 초기화를 넘어서 RNN에서의 기울기 소실/폭발 문제를 해결하기 위해.
• 비정규 순환 동역학—특히 비직교이고 순차적인 가중치 구조를 통한 일시적 신호 증폭—이 RNN의 기억 능력을 향상시키는지 조사하기 위해.
• 비정규 초기화를 사용한 RNN과 LSTMs가 훈련 과정에서 자연스럽게 비정규, 사슬 모양의 가중치 구조를 발현하는지 탐색하기 위해.
• 비정규 초기화자가 효과적인 인덕티브 바이어스가 될 수 있음을 입증하여 순차적 학습 작업에서 성능 향상에 기여하기 위해.

제안 방법

• 순환 행렬 내에서 사슬 모양의 피드포워드 가중치 구조를 형성하는 비정규 초기화기를 제안하여 일시적 신호 증폭을 유도하기 위해.
• 기억 용량을 정량화하기 위해 피셔 기억 매트릭스(FMM)를 사용하며, J(k)는 과거 신호에 대한 정보를 측정하고, J_tot는 총 기억 용량을 나타낸다.
• 비정규 초기화기를 사용해 훈련한 보통 RNN을 정규 및 항등 초기화기와 비교하여 순차 벤치마크에서 성능을 평가한다.
• 훈련된 RNN 및 LSTM의 가중치 매트릭스를 분석하여 특히 비대칭 가중치 프로파일을 통해 숨겨진 피드포워드 사슬을 탐지한다.
• 업데이트 게이트(tanh)에는 사슬 모양의 초기화를 적용하고, 다른 게이트(sigmoid)에는 단조적 프로파일을 적용하여 LSTMs용 하이브리드 초기화기를 설계한다.
• 일반화성과 훈련 안정성을 평가하기 위해 문자 수준의 언어 모델링 작업(예: PTB, enwik8)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비정규 순환 동역학과 순차적 사슬 모양의 가중치 구조가 정규 초기화 대비 보통 RNN의 기억 용량을 향상시키는가?
• RQ2 정규 초기화를 사용한 훈련된 RNN과 LSTMs가 훈련 과정에서 자연스럽게 비정규, 사슬 모양의 가중치 구조를 발현하는가?
• RQ3 훈련된 모델에서 이러한 비정규 모티프의 발현을 활용하여 더 나은 초기화기를 설계할 수 있는가?
• RQ4 비정규 초기화기가 게이트가 있는 RNN인 LSTMs에서 성능 우위를 제공하는가? 만약 그렇다면 어디에 적용되어야 하는가?
• RQ5 비선형성과 노이즈가 존재할 경우, 노름 보존보다 신호 대 잡음 비율(SNR) 최대화가 더 효과적인가?

주요 결과

• 사슬 모양의 초기화기를 사용한 비정규 RNN은 다양한 순차 벤치마크에서 정규 및 항등 초기화된 RNN보다 뛰어난 성능을 보이며, 뛰어난 장기 기억 능력을 입증한다.
• 정규 초기화를 사용한 훈련된 보통 RNN은 특히 tanh 게이트에서 은닉된 사슬 모양의 피드포워드 모티프를 자신의 순환 가중치에 형성하며, 비정규 동역학의 자연스러운 발현을 나타낸다.
• LSTMs에서는 업데이트 게이트(tanh) 내부의 순환 가중치 매트릭스가 사슬 모양의 구조를 보이며, 입력, 잊기, 출력 게이트 매트릭스는 단조적이고 비사슬 모양의 프로파일을 나타낸다.
• 업데이트 게이트에는 사슬 모양의 초기화를 적용하고, 다른 게이트에는 단조적 프로파일을 적용한 하이브리드 초기화기는 표준 초기화기 대비 문자 수준의 PTB 및 enwik8 작업에서 성능 향상을 이룬다.
• 비정규 초기화기의 성능 향상은 보통 RNN에서 가장 두드러지며, 게이트 아키텍처인 LSTMs에서는 영향이 덜하다. 이는 아키텍처의 복잡성이 이러한 인덕티브 바이어스의 영향을 제한할 수 있음을 시사한다.
• 이 연구는 비정규 동역학—일시적으로 신호를 증폭시키는 방식—이 노이즈가 많고 비선형적인 시스템에서 기억에 있어 노름 보존을 하는 정규 직교 동역학보다 더 효과적임을 확인한다.