[논문 리뷰] Recurrent neural networks: vanishing and exploding gradients are not the end of the story

Nicolas Zucchet, Antonio Orvieto|arXiv (Cornell University)|2024. 05. 31.

Neural Networks and Applications인용 수 12

한 줄 요약

이 논문은 RNN 기억이 커질수록 매개변수 변화가 출력 민감도를 증가시키는 현상을 보여주며, 소실/발산 경사를 넘는 기억의 저주를 드러내고, 대각형 아키텍처와 정규화/재매개화를 완화 전략으로 강조한다.

ABSTRACT

Recurrent neural networks (RNNs) notoriously struggle to learn long-term memories, primarily due to vanishing and exploding gradients. The recent success of state-space models (SSMs), a subclass of RNNs, to overcome such difficulties challenges our theoretical understanding. In this paper, we delve into the optimization challenges of RNNs and discover that, as the memory of a network increases, changes in its parameters result in increasingly large output variations, making gradient-based learning highly sensitive, even without exploding gradients. Our analysis further reveals the importance of the element-wise recurrence design pattern combined with careful parametrizations in mitigating this effect. This feature is present in SSMs, as well as in other architectures, such as LSTMs. Overall, our insights provide a new explanation for some of the difficulties in gradient-based learning of RNNs and why some architectures perform better than others.

연구 동기 및 목표

• 왜 RNN에서 더 긴 기억이 dynamics가 안정적일 때조차 매개변수 변화에 대한 민감도를 증가시키는가를 조사한다.
• 선형 대각 RNN에서 신호 전파를 분석하여 기억이 커짐에 따라 순전파 및 역전파의 폭주를 정량화한다.
• 상태공간 모델과 게이트 구성 아키텍처가 기억의 저주를 완화하는 방식을 보여준다.
• teacher-student 과제를 통해 대각성(diagonality)과 적응적 최적화가 장거리 의존성 학습에 미치는 영향을 입증한다.

제안 방법

• RNN에서 부분 도함수와 전체 도함수를 분리하기 위해 순환 업데이트 및 역전파 방정식을 형식화한다.
• 메모리 매개변수와 입력 자기상관의 함수로서 순전파 히든 상태 분산을 도출하여 순전파 증폭을 보인다.
• 역전파-그래디언트 분산과 해시안(Hessian) 구조를 도출하여 역전파 민감도와 최적화 난이도를 설명한다.
• 고유분해를 통한 비대각 선형 RNN으로 분석을 확장하여 매개변수 민감도를 비교한다.
• 정규화 및 재매개화 전략을 제안하여 기억 스케일 전반에 걸친 순전파 및 역전파를 안정화한다.
• teacher-student 설정에서 대각 복소수 RNN, LRU, 전체 연결 RNN을 비교하여 최적화 지형을 평가한다.

실험 결과

연구 질문

• RQ1 RNN에서 기억이 증가함에 따라 dynamics가 안정적이어도 은닉 상태가 매개변수 변화에 얼마나 민감해지는가?
• RQ2 정규화와 재매개화가 기억으로 인한 그래디언트 민감도를 완화할 수 있는가, 그리고 대각으로 구조화된 모델은 완전 연결 모델과 어떻게 비교되는가?
• RQ3 SSM과 LSTM과 같은 아키텍처가 메모리 길이가 커질 때 신호 전파와 최적화에 왜 도움을 주는가?
• RQ4 메모리와 관련된 해시안 곡률을 다루는 적응 학습률의 역할은 무엇인가?

주요 결과

• 히든-스테이트 분산 및 그래디언트 민감도는 분광 반지름이 1에 가깝거나 그 이하일 때도 기억이 커짐에 따라 폭주한다.
• 메모리가 길수록 입력이 상관될수록 순전파 및 역전파 신호 전파가 악화되며, 이는 기억의 저주로 설명된다.
• 대각/복소수 및 게이트 구조와 입력 정규화 및 고유값 재매개화가 기억으로 인한 불안정성을 크게 완화한다.
• LRUs 및 SSM은 긴 기억의 teacher-student 과제에서 완전 연결 선형 RNN보다 더 잘 작동하며 파라미터 수가 적다.
• 적응적 최적화기는 고유값이 특이 방향과 정렬될 때 구조화된 해시안으로부터 이득을 얻어 더 큰 효과 학습률을 가능하게 한다.