[논문 리뷰] On the difficulty of training Recurrent Neural Networks

Razvan Pascanu, Tomáš Mikolov외 1명|arXiv (Cornell University)|2012. 11. 21.

Neural Networks and Applications참고 문헌 23인용 수 3,783

한 줄 요약

본 논문은 RNNs에서 소실형 및 발산형 그래디언트를 분석적, 기하학적, 및 동역학적 관점에서 분석하고, 긴 거리 의존성에서의 학습을 개선하기 위해 gradient clipping과 vanishing-gradient regularizer를 제안하며, 합성 태스크와 실제 데이터셋에서 이 접근법을 경험적으로 검증한다.

ABSTRACT

There are two widely known issues with properly training Recurrent Neural Networks, the vanishing and the exploding gradient problems detailed in Bengio et al. (1994). In this paper we attempt to improve the understanding of the underlying issues by exploring these problems from an analytical, a geometric and a dynamical systems perspective. Our analysis is used to justify a simple yet effective solution. We propose a gradient norm clipping strategy to deal with exploding gradients and a soft constraint for the vanishing gradients problem. We validate empirically our hypothesis and proposed solutions in the experimental section.

연구 동기 및 목표

• 순환 신경망에서 소실형 및 발산형 그래디언트의 원인을 조사한다.
• gradient norm clipping을 통해 폭주하는 그래디언트를 완화하기 위한 실용적 방법을 제안한다.
• 정보를 가진 역전파를 유지하기 위한 소프트 vanishing-gradient regularization을 제안한다.
• 합성 태스크와 실제 세계의 시퀀스 모델링 벤치마크에서 제안된 방법을 경험적으로 검증한다.

제안 방법

• Backpropagation through time의 합-곱 형태를 사용하여 폭주하는 그래디언트를 강조하기 위한 그래디언트 표현을 도출한다.
• recurrent weight matrix의 Jacobian 곱과 스펙트럼 반지름을 통해 그래디언트 발산의 조건을 규정한다.
• 학습 중 큰 그래디언트 노름을 상한하기 위한 gradient norm clipping을 제안한다.
• Time을 거치며 역전파할 때 그래디언트 노름을 유지하는 것을 선호하는 vanishing-gradient regularizer를 도입한다.
• Theano를 사용하여 그래디언트를 계산하고 합성 및 실제 데이터셋에서 검증한다.

실험 결과

연구 질문

• RQ1 장기 의존성을 가진 RNNs에서 exploding gradients가 발생하는가, 그리고 어떤 조건에서 그런가?
• RQ2 gradient norm clipping이 학습의 안정화를 가능케 하고 장기 상관관계의 학습을 가능케 하는가?
• RQ3 소프트 vanishing-gradient regularizer가 단기 성능을 해치지 않으면서 장기 의존성 학습을 개선하는가?
• RQ4 제안된 방법들이 합성적 병리적 문제와 실제 시퀀스 모델링 데이터셋에서 어떤 성능을 보이는가?
• RQ5 성능 및 일반화 측면에서 LSTM, Hessian-free 등 기존 전략과 비교하면 어떤가?

주요 결과

• Gradient clipping (norm-based) effectively controls exploding gradients and improves training stability.
• A soft vanishing-gradient regularizer can help preserve useful temporal dependencies without forcing strict equality of gradient flows.
• SGD with clipping and regularization (SGD-CR) solves long-sequence tasks that require memory, including the temporal order problem up to length 200.
• On polyphonic music prediction and language modeling, SGD-CR improves or matches state-of-the-art results across several datasets.
• Clipping and regularization yield strong empirical gains on both synthetic pathological problems and real-world tasks, with improved generalization.