[논문 리뷰] The exploding gradient problem demystified - definition, prevalence, impact, origin, tradeoffs, and solutions

George Philipp, Dawn Song외 1명|arXiv (Cornell University)|2017. 12. 15.

Neural Networks and Applications인용 수 35

한 줄 요약

이 논문은 배치 정규화나 SELU와 같은 정규화 기법이 딥 피드포워드 네트워크에서 기울기 폭주 문제를 완전히 해결한다는 일반적인 믿음을 도전한다. 기울기 폭주 현상이 많은 표준 MLP 아키텍처에서 여전히 지속됨을 보여주며, 이는 훈련 깊이를 제한한다. 또한 '잔차 기법(residual trick)'을 제안하여, 스킵 연결이 피타고라스 정리에 의해 기울기 흐름을 수학적으로 단순화시켜 더 깊고 안정적인 훈련을 가능하게 한다. 이는 ResNet에서의 성공을 설명한다.

ABSTRACT

Whereas it is believed that techniques such as Adam, batch normalization and, more recently, SeLU nonlinearities "solve" the exploding gradient problem, we show that this is not the case in general and that in a range of popular MLP architectures, exploding gradients exist and that they limit the depth to which networks can be effectively trained, both in theory and in practice. We explain why exploding gradients occur and highlight the *collapsing domain problem*, which can arise in architectures that avoid exploding gradients. ResNets have significantly lower gradients and thus can circumvent the exploding gradient problem, enabling the effective training of much deeper networks. We show this is a direct consequence of the Pythagorean equation. By noticing that *any neural network is a residual network*, we devise the *residual trick*, which reveals that introducing skip connections simplifies the network mathematically, and that this simplicity may be the major cause for their success.

연구 동기 및 목표

• 배치 정규화나 SELU와 같은 정규화 기법이 딥 피드포워드 네트워크에서 기울기 폭주 문제를 완전히 제거한다는 널리 퍼진 믿음을 도전하기 위해.
• 최근 가중치 초기화 및 정규화 기법의 발전에도 불구하고, 현대 MLP 아키텍처에서 기울기 폭주 현상이 여전히 훈련 깊이를 제한하는 이유를 조사하기 위해.
• 기울기 폭주 현상의 근본 원인을 규명하고, 이가 불안정한 순전파 활성화의 결과로만 발생하는 것은 아님을 보여주기 위해.
• 잔차 연결이 기울기 흐름을 수학적으로 단순화시켜 ResNet의 성공을 설명할 수 있음을 보여주기 위해.
• 기울기 경로학을 완화하고 훈련 안정성 및 정확도를 향상시키기 위한 계층별 학습률 선택의 체계적 방법을 제안하기 위해.

제안 방법

• 기울기 노름이나 자코비안 고유값이 아닌, 훈련 중 파라미터의 상대적 업데이트 크기를 기반으로 기울기 폭주를 새로운 정의한다.
• 사전 훈련, 선택(각 계층의 스텝 사이즈에 대한 그리드 서치), 클리핑(허위로 큰 업데이트 제거), 스무딩(로그-선형 회귀를 통한 노이즈 감소)의 네 단계로 구성된 훈련 파이프라인을 제안한다.
• 모든 계층별 학습률을 동시에 조정하기 위한 최종 스케일링 단계를 적용하여 안정적인 동시 업데이트를 보장하면서도 과도한 파라미터 업데이트를 방지한다.
• 불안정성을 유발하는 스텝 사이즈를 제거하기 위해 상대적 업데이트 크기 임계값(≥0.1)을 사용하며, 이는 일반화 성능 향상과 하이퍼파ram터 선택의 노이즈 감소에 기여한다.
• 계층별 업데이트 크기의 소규모 회귀 데이터셋을 사용하여 스무딩된 로그 스케일 선형 모델을 피팅하고, 이를 통해 선택된 학습률을 보정한다.
• 각 아키텍처에 대해 세 가지 변형(클리핑 없음, 스케일링 단계에서만 클리핑, 두 단계 모두 클리핑)을 훈련한 후 최종 훈련 오차가 가장 낮은 것을 선택하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 배치 정규화나 SELU와 같은 정규화 기법이 표준 MLP에서 기울기 폭주 문제를 실제로 얼마나 효과적으로 제거하는가?
• RQ2 정규화나 초기화로 순전파 활성화가 안정화되어도, 왜 여전히 딥 피드포워드 네트워크에서 기울기 폭주 현상이 지속되는가?
• RQ3 잔차 네트워크의 성공을 뒷받침하는 수학적 메커니즘은 무엇이며, 이는 기울기 흐름과 어떻게 관련이 있는가?
• RQ4 체계적이고 계층별 학습률 선택 전략이 깊은 네트워크의 훈련 안정성과 최종 성능을 크게 향상시킬 수 있는가?
• RQ5 기울기 폭주 문제는 단순한 적응형 옵timizer로 해결할 수 없는 수치적 오류일까, 아니면 근본적인 최적화 장벽일까?

주요 결과

• 배치 정규화, 가중치 초기화, 또는 SELU 비선형성을 적용한 후에도 많은 표준 MLP 아키텍처에서 여전히 기울기 폭주 문제가 지속되며, 이는 효과적인 깊이를 제한한다.
• 순전파 활성화를 안정화시키는 것만으로는 기울기 폭주를 방지할 수 없으며, 문제의 근본 원인은 백프로파게이션된 기울기의 기하학적 구조와 계층 간 상호작용에 깊이 연관되어 있다.
• 스킵 연결이 유도하는 피타고라스 관계 덕분에 잔차 네트워크는 기울기가 훨씬 낮게 유지되며, 이는 기울기 흐름을 수학적으로 단순화시킨다.
• '잔차 기법'—모든 네트워크를 잔차 네트워크로 간주하는 것—은 스킵 연결이 기울기 복잡도를 감소시키고 훈련 안정성을 향상시킴을 드러낸다.
• 사전 훈련, 선택, 클리핑, 스무딩의 네 단계로 구성된 제안된 학습률 선택 파이프라인은 표준 단일 스텝 사이즈 훈련 대비 훈련 오차를 최대 10%까지 감소시켰다.
• 스케일링 단계에서 클리핑을 적용한 결과, 테스트된 5개 아키텍처 중 4개에서 최종 테스트 오차가 향상되었으며, 특히 바닐라 tanh와 ReLU 기반 네트워크에서 두드러졌다. 이는 불안정한 스텝 사이즈를 제거했기 때문이다.