[논문 리뷰] Regularization in ResNet with Stochastic Depth

Soufiane Hayou, Fadhel Ayed|arXiv (Cornell University)|2021. 12. 06.

Neural Networks and Applications인용 수 1

한 줄 요약

이 논문은 잔차 신경망(ResNets)에서 확률적 깊이(Stochastic Depth, SD) 정규화의 이론적 분석을 제공하며, 섭동 이론과 신호 전파를 결합하여 그 정규화 효과를 설명한다. 학습 중 생존 확률을 설정하는 원칙적인 지침을 유도함으로써 일반화 성능과 모델 성능을 향상시킨다.

ABSTRACT

Regularization plays a major role in modern deep learning. From classic techniques such as L1,L2 penalties to other noise-based methods such as Dropout, regularization often yields better generalization properties by avoiding overfitting. Recently, Stochastic Depth (SD) has emerged as an alternative regularization technique for residual neural networks (ResNets) and has proven to boost the performance of ResNet on many tasks [Huang et al., 2016]. Despite the recent success of SD, little is known about this technique from a theoretical perspective. This paper provides a hybrid analysis combining perturbation analysis and signal propagation to shed light on different regularization effects of SD. Our analysis allows us to derive principled guidelines for choosing the survival rates used for training with SD.

연구 동기 및 목표

• 확률적 깊이(Stochastic Depth, SD) 정규화가 ResNets에서 작동하는 이론적 메커니즘을 이해하는 것.
• SD가 신호 전파와 섭동 이론을 통해 모델 일반화에 미치는 영향을 분석하는 것.
• SD 학습 중 생존 확률을 설정하는 데 있어 원칙적인 지침을 도출하는 것.
• 딥러닝에서 SD의 경험적 성공과 이론적 이해 사이의 격차를 메우는 것.

제안 방법

• 저자는 SD로 학습할 때 네트워크의 가중치 갱신과 일반화에 미치는 영향을 분석하기 위해 섭동 분석을 사용한다.
• 신호 전파 분석을 적용하여 SD 하에서 활성화가 네트워크를 어떻게 통과하는지 분석한다.
• 섭동 이론과 신호 전파 분석을 결합하여 SD의 정규화 효과를 특성화한다.
• 이론적 유도를 통해 생존 확률과 ResNet 학습의 안정성 및 일반화 성능 간의 관계를 규명한다.
• 프레임워크를 활용하여 잔차 블록 간 최적의 생존 확률 스케줄을 도출한다.
• 네트워크 깊이와 레이어 동역학을 바탕으로 생존 확률 선택에 대한 원칙적인 접근을 제공한다.

실험 결과

연구 질문

• RQ1 이론적으로 볼 때, 확률적 깊이(SD)는 ResNet 학습을 어떻게 정규화하는가?
• RQ2 생존 확률이 SD가 적용된 ResNets에서 신호 전파와 모델 안정성에 어떤 영향을 미치는가?
• RQ3 학습 중 무작위 깊이로 인한 섭동 효과가 일반화에 어떻게 영향을 주는가?
• RQ4 SD 기반 학습에서 생존 확률을 선택하는 데 있어 원칙적인 지침은 무엇인가?
• RQ5 신호 전파와 섭동 분석이 함께 작용하여 SD가 일반화 성능 향상에 성공한 이유를 설명할 수 있는가?

주요 결과

• 확률적 깊이(SD)는 네트워크 학습 동역학에 통제된 섭동을 도입함으로써 ResNet의 일반화 성능을 향상시킨다.
• 신호 전파 분석 결과, 생존 확률을 적절히 선택할 경우 SD는 잔차 블록 간 안정적인 기울기 흐름을 유지함을 보여준다.
• 섭동 분석 결과, SD는 개별 잔차 경로의 영향력을 감소시켜 과적합을 줄임을 확인할 수 있다.
• 생존 확률 설정을 위한 이론적 지침을 도출하였으며, 깊이가 깊은 블록에서는 신호 무결성을 유지하기 위해 높은 생존 확률을 사용하는 것이 바람직하다.
• 이 프레임워크는 SD가 경험적으로 잘 작동하는 이유를 설명하며 생존 확률 선택에 대한 원칙적인 기반을 제공한다.
• 결과적으로 SD는 단순한 히ュ리스틱이 아니라, 신호 및 섭동 동역학에 뿌리를 둔 탄탄한 이론적 기반을 지닌다는 것이 뒷받침된다.