[논문 리뷰] Stable ResNet

Soufiane Hayou, Eugenio Clerico외 4명|arXiv (Cornell University)|2020. 10. 24.

Advanced Neural Network Applications참고 문헌 41인용 수 6

한 줄 요약

이 논문은 깊이가 무한에 가까워질수록 경사하강이 안정되고 표현력이 유지되는 새로운 잔차 신경망 아키텍처인 Stable ResNet을 소개한다. 학습 가능한 스케일링 메커니즘을 통해 잔차 연결을 수정함으로써 모델은 경사 폭주를 방지하고 표현 능력을 유지하며, 깊은 네트워크에서 뛰어난 안정성과 성능을 달성한다.

ABSTRACT

Deep ResNet architectures have achieved state of the art performance on many tasks. While they solve the problem of gradient vanishing, they might suffer from gradient exploding as the depth becomes large (Yang et al. 2017). Moreover, recent results have shown that ResNet might lose expressivity as the depth goes to infinity (Yang et al. 2017, Hayou et al. 2019). To resolve these issues, we introduce a new class of ResNet architectures, called Stable ResNet, that have the property of stabilizing the gradient while ensuring expressivity in the infinite depth limit.

연구 동기 및 목표

• 매우 깊은 잔차 신경망에서 발생하는 경사 폭주 문제를 해결하기 위해.
• 깊이가 무한에 가까워질수록 잔차 신경망의 표현력이 떨어지는 문제를 해결하기 위해.
• 깊이가 무한에 다다를 때에도 안정적인 경사를 유지하면서 표현 능력을 유지하는 잔차 아키텍처를 설계하기 위해.
• 일반화 성능과 학습 안정성을 향상시키는 이론적으로 타당하고 학습 가능한 아키텍처를 제공하기 위해.

제안 방법

• 경사 흐름을 제어하기 위해 잔차 연결에 학습 가능한 스케일링 인자를 도입하기 위해.
• 활성화 및 경사 안정성을 높이기 위해 파rameterized 정규화를 포함한 잔차 블록을 수정하기 위해.
• 깊이가 증가함에 따라 경사 노름이 유한하게 유지되도록 아키텍처를 설계하기 위해.
• 네트워크 깊이와 학습 동적 상태에 따라 동적으로 조정되는 적응형 스케일링을 갖춘 잔차 연결을 사용하기 위해.
• 통제된 경사 전파를 통해 무한 깊이 근처에서 표현 가능성을 유지하기 위해.
• 정체성 매핑을 안정화하는 학습 가능한 파라미터를 갖는 잔차 블록을 사용해 아키텍처를 수학적으로 정의하기 위해.

실험 결과

연구 질문

• RQ1 깊이가 증가함에 따라 경사 폭주에 대해 안정적인 잔차 신경망을 만들 수 있는가?
• RQ2 무한 깊이 근처에서 잔차 신경망의 표현력이 떨어지는가?
• RQ3 임의의 깊이에서 경사 안정성과 높은 표현 능력을 동시에 유지할 수 있는 잔차 아키텍처를 설계할 수 있는가?
• RQ4 매우 깊은 네트워크에서 경사가 유한하고 표현력이 유지되도록 하기 위해 어떤 아키텍처 수정이 필요한가?

주요 결과

• 제안된 Stable ResNet 아키텍처는 학습 가능한 스케일링 인자를 통해 잔차 연결을 제어함으로써 경사 폭주를 방지한다.
• 깊이가 무한에 가까워질수록 경사 노름이 유한하게 유지되어 안정적인 학습이 보장된다.
• Stable ResNet은 무한 깊이 근처에서도 표현력을 유지하며, 기존 ResNet에서 관찰되는 표현력 붕괴 현상을 방지한다.
• 경사 감쇠나 폭주 없이 매우 깊은 네트워크의 안정적 학습을 가능하게 한다.
• 이론적 분석을 통해 제안된 설계 하에서 경사 노름이 유한하게 유지됨을 확인한다.