[논문 리뷰] Understanding the exploding gradient problem

Razvan Pascanu, Tomáš Mikolov외 1명|arXiv (Cornell University)|2012. 11. 21.

Model Reduction and Neural Networks참고 문헌 16인용 수 405

한 줄 요약

이 논문은 분석적, 기하학적, 역학계 이론적 시각에서 순환 신경망(RNNs) 학습 시 기울기 폭주 문제의 근본 원인을 조사한다. 기울기 노름 클리핑을 효과적인 히우리스틱으로 제안하고, 문자 예측 및 다성분 음악 생성 작업에서 최고 성능을 달성하기 위해 필수적임을 실험적으로 검증한다.

ABSTRACT

Training Recurrent Neural Networks is more troublesome than feedforward ones because of the vanishing and exploding gradient problems detailed in Bengio et al. (1994). In this paper we attempt to understand the fundamental issues underlying the exploding gradient problem by exploring it from an analytical, a geometric and a dynamical system perspective. Our analysis is used to justify the simple yet effective solution of norm clipping the exploded gradient. In the experimental section, the comparison between this heuristic solution and standard SGD provides empirical evidence towards our hypothesis as well as it shows that such a heuristic is required to reach state of the art results on a character prediction task and a polyphonic music prediction one.

연구 동기 및 목표

• 다양한 이론적 시각에서 순환 신경망의 기울기 폭주 문제의 근본 원인을 이해하기 위해.
• 분석적, 기하학적, 역학계 프레임워크를 사용하여 시간에 따라 역전파하는 동안 기울기 흐름의 불안정성을 분석하기 위해.
• 기울기 노름 클리핑이 기울기 폭주를 완화하기 위한 실용적 해결책으로서의 효과를 평가하기 위해.
• 노름 클리핑이 시퀀스 모델링 벤치마크에서 최고 성능을 달성하는 데 필수적임을 실험적으로 입증하기 위해.

제안 방법

• 기울기 계산에서 기울기가 지수적으로 증가하는 조건을 특정하기 위해 RNNs의 분석적 조사.
• 학습 도중 기울기 경로가 어떻게 분리되는지 시각화하기 위한 가중치 공간의 기하학적 분석.
• 기울기 흐름의 장기적 행동을 연구하고 불안정성 임계점을 식별하기 위한 역학계 모델링.
• 기울기 업데이트를 제약하고 학습을 안정화하기 위해 기울기 노름 클리핑을 히우리스틱으로 적용.
• 기본적인 확률적 경사하강법(SGD)과 비교하여 벤치마크 시퀀스 작업에서 노름 클리핑 학습을 수행.

실험 결과

연구 질문

• RQ1 RNNs에서 기울기가 폭주하는 데 기여하는 기초 수학적 및 역학적 메커니즘은 무엇인가?
• RQ2 손실 곡면의 기하학적 성질이 기울기 폭주에 어떻게 기여하는가?
• RQ3 기울기 노름 클리핑이 시퀀스 모델링 작업의 학습 안정성과 성능 향상에 어느 정도 기여하는가?
• RQ4 문자 및 음악 시퀀스 예측에서 최고 성능을 달성하기 위해 기울기 노름 클리핑이 필수적인가?

주요 결과

• 기울기 폭주 문제의 근본 원인은 시간에 따라 역전파하는 동안 자코비안 행렬의 지수적 누적에 기인하며, 이는 학습의 불안정성을 초래한다.
• 기하학적 분석은 가중치 공간의 불안정한 고정점으로 인해 기울기 벡터의 크기가 급격히 증가함을 드러낸다.
• 노름 클리핑은 극단적인 기울기 업데이트를 방지함으로써 학습을 효과적으로 안정화시키며 수렴 가능하게 한다.
• 실험 결과는 문자 예측 및 다성분 음악 생성 작업에서 최고 성능을 달성하기 위해 노름 클리핑이 필수적임을 보여준다.