[논문 리뷰] Gradients explode - Deep Networks are shallow - ResNet explained

George Philipp, Dawn Song외 1명|arXiv (Cornell University)|2017. 12. 15.

Advanced Neural Network Applications참고 문헌 45인용 수 35

한 줄 요약

이 논문은 Adam, 배치 정규화, SeLU와 같은 일반적으로 사용되는 기법들에도 불구하고, 깊은 다층 퍼셉트론(MLP)에서 기울기 폭주 현상이 지속됨을 보여준다. 이는 ResNets가 잔차 연결을 통해 수학적 성질을 이용해 기울기 폭주 문제를 피하는 데 기인한다. 잔차 연결은 네트워크의 최적화 경로를 단순화시켜 기울기 폭주를 완화함으로써 더 깊은 학습을 가능하게 한다.

ABSTRACT

Whereas it is believed that techniques such as Adam, batch normalization and, more recently, SeLU nonlinearities solve the exploding gradient problem, we show that this is not the case in general and that in a range of popular MLP architectures, exploding gradients exist and that they limit the depth to which networks can be effectively trained, both in theory and in practice. We explain why exploding gradients occur and highlight the *collapsing domain problem*, which can arise in architectures that avoid exploding gradients. ResNets have significantly lower gradients and thus can circumvent the exploding gradient problem, enabling the effective training of much deeper networks, which we show is a consequence of a surprising mathematical property. By noticing that *any neural network is a residual network*, we devise the *residual trick*, which reveals that introducing skip connections simplifies the network mathematically, and that this simplicity may be the major cause for their success.

연구 동기 및 목표

• 심화된 순환 신경망에서 최신 최적화 기법을 사용함에도 불구하고 여전히 기울기 폭주 현상이 발생하는 이유를 탐구하는 것.
• 배치 정규화와 적응형 최적화기 사용 시에도 일반적인 MLP 아키텍처에서 기울기 폭주 현상의 근본 원인을 규명하는 것.
• 표준 MLP보다 더 깊은 학습이 가능한 ResNets의 수학적 구조를 분석하여 그 이유를 설명하는 것.
• 스킵 연결이 네트워크 최적화를 단순화하는 방식을 보여주는 통합 원리로 '잔차 기법(Residual Trick)'을 제안하는 것.

제안 방법

• 기울기 역전파 동역학을 분석하여 기울기 폭주가 발생하는 조건을 규명하는 것.
• 기울기 폭주를 방지하는 아키텍처에서 발생하는 실패 모드로 '무너지는 도메인 문제(Collapsing Domain Problem)'를 도입하는 것.
• 모든 신경망이 잔차 네트워크로 간주될 수 있음을 보여주며, 잔차 연결의 수학적 동치성을 드러내는 것.
• 기울기 흐름을 단순화시키기 위해 잔차 매핑을 분리하는 변환으로서 '잔차 기법'을 체계화하는 것.
• 이론적 분석을 통해 잔차 연결이 기울기 분산을 감소시키고 깊은 네트워크에서 학습을 안정화시키는 방식을 보여주는 것.
• 표준 MLP와 ResNets 간의 기울기 크기를 비교하여 기울기 폭주 감소를 경험적으로 검증하는 것.

실험 결과

연구 질문

• RQ1 왜 Adam, 배치 정규화, SeLU를 사용하더라도 깊은 MLP에서 기울기 폭주 현상이 지속되는가?
• RQ2 ResNets가 표준 MLP보다 더 깊은 네트워크를 학습할 수 있게 해주는 수학적 성질은 무엇인가?
• RQ3 '잔차 기법'은 깊은 네트워크에서 최적화 과정을 어떻게 단순화하는가?
• RQ4 스킵 연결은 깊은 아키텍처에서 '무너지는 도메인 문제'를 방지하는 데 어떤 역할을 하는가?
• RQ5 모든 순방향 신경망을 재구성하여 잔차 네트워크로 바꿀 수 있는가? 이는 학습 안정성을 향상시킬 수 있는가?

주요 결과

• Adam, 배치 정규화, 또는 SeLU 활성화 함수를 사용하더라도 깊은 MLP에서 기울기 폭주 현상은 여전히 근본적인 문제로 남아 있다.
• 기울기 폭주를 방지하기 위해 설계된 아키텍처에서 '무너지는 도메인 문제'가 나타나며, 이는 최적화 안정성에 대한 상충 관계를 시사한다.
• 표준 MLP보다 ResNets에서 기울기 크기가 훨씬 작게 나타나, 훨씬 더 깊은 네트워크의 효과적 학습을 가능하게 한다.
• ResNets의 성공은 숨겨진 수학적 단순성에서 기인한다: 스킵 연결은 최적화 경로의 유효 깊이를 감소시킨다.
• '잔차 기법'은 잔차 연결이 네트워크를 더 단순하고 안정적인 최적화 문제로 변환함을 드러낸다.
• 모든 순방향 네트워크는 잔차 네트워크로 재표현될 수 있으며, 이는 잔차 구조가 보편적인 단순화 메커니즘이라는 것을 보여준다.