[논문 리뷰] Stabilize Deep ResNet with A Sharp Scaling Factor $τ$

Huishuai Zhang, Dahua Yu외 3명|arXiv (Cornell University)|2019. 03. 17.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 11

한 줄 요약

이 논문은 깊이가 $L$인 잔차망(ResNets)에서 학습 중 전방 및 역방향 프로세스의 안정성을 확보하기 위해 $\tau = 1/\sqrt{L}$의 날카운 스케일링 인자를 제안한다. 저자들은 $\tau = O(1/\sqrt{L})$가 안정성에 필수적이고 충분함을 증명하며, 이는 과다 매개변수화된 ResNets에서 경사하강법의 전역 수렴을 가능하게 하고 깊이에 의존하지 않는 수렴 속도를 보장한다. 또한 실험적으로 이 인자가 배치 정규화 없이도 학습 안정성과 성능을 향상시킴을 보여준다.

ABSTRACT

We study the stability and convergence of training deep ResNets with gradient descent. Specifically, we show that the parametric branch in the residual block should be scaled down by a factor $τ=O(1/\sqrt{L})$ to guarantee stable forward/backward process, where $L$ is the number of residual blocks. Moreover, we establish a converse result that the forward process is unbounded when $τ>L^{-\frac{1}{2}+c}$, for any positive constant $c$. The above two results together establish a sharp value of the scaling factor in determining the stability of deep ResNet. Based on the stability result, we further show that gradient descent finds the global minima if the ResNet is properly over-parameterized, which significantly improves over the previous work with a much larger range of $τ$ that admits global convergence. Moreover, we show that the convergence rate is independent of the depth, theoretically justifying the advantage of ResNet over vanilla feedforward network. Empirically, with such a factor $τ$, one can train deep ResNet without normalization layer. Moreover, for ResNets with normalization layer, adding such a factor $τ$ also stabilizes the training and obtains significant performance gain for deep ResNet.

연구 동기 및 목표

• 경사하강법 하에서 깊은 ResNets의 전방/역방향 안정성에 대한 비점근적 분석을 수립하기 위해.
• 임의의 네트워크 깊이에서 안정적인 학습을 보장하는 스케일링 인자 $\tau$의 날카운 임계값을 규명하기 위해.
• 과다 매개변수화된 ResNets에서 $\tau \leq \tilde{O}(1/\sqrt{L})$일 경우 경사하강법이 전역 최소값으로 전역 수렴함을 보여주기 위해.
• 제안된 $\tau$ 스케일링 하에서 경사하강법의 수렴 속도가 깊이에 독립적임을 입증하여, ResNet이 순수 피드포워드 네트워크보다 우월함을 정당화하기 위해.
• $\tau = 1/\sqrt{L}$를 적용할 경우 정규화 레이어 없이도 ResNet이 효과적으로 학습될 수 있음을 경험적으로 검증하기 위해.

제안 방법

• 매개변수화된 분지에 적용되는 학습 가능한 스케일링 인자 $\tau$를 포함한 잔차 블록 구조를 도입: $h_l = \phi(h_{l-1} + \tau \mathcal{F}_l(h_{l-1}))$.
• 랜덤 행렬 이론을 활용해 전방 프로세스의 특이값 노름을 분석하여, $\tau = O(1/\sqrt{L})$일 경우 랜덤 가중치의 통계적 평균화로 인해 출력 노름 증가가 제어됨을 보여줌.
• 역방향 결과를 도출: $\tau > L^{-1/2 + c}$ (모든 $c > 0$에 대해)일 경우 기대 출력 노름이 $L^c$만큼 증가함을 보여, 더 큰 $\tau$에 대한 불안정성을 입증함.
• 과다 매개변수화된 ResNets에서 $\tau \leq \tilde{O}(1/\sqrt{L})$일 경우 경사하강법이 전역 최소값으로 전역 수렴하며, 깊이에 의존하지 않는 수렴 속도를 보임을 증명함.
• 배치 정규화 및 Fixup과의 비교를 통해, 학습률 웜업이나 주의 깊은 초기화 스케일링이 필요 없이 더 강력한 안정성 보장을 제공함을 보임.
• CIFAR-10에서 ResNet110 및 ResNet1202를 사용해 경험적으로 방법을 검증하며, $\tau = 1/L$, $1/\sqrt{L}$, $1/L^{1/4}$를 비교하고 학습률를 튜닝하여 안정성 평가.

실험 결과

연구 질문

• RQ1 깊이가 임의일 수 있는 깊은 ResNets에서 전방 및 역방향 안정성을 보장하는 날카운 스케일링 인자 $\tau$는 무엇인가?
• RQ2 과다 매개변수화된 ResNets에서 $\tau = O(1/\sqrt{L})$일 경우 경사하강법이 전역 수렴을 이룰 수 있는가?
• RQ3 제안된 $\tau$ 스케일링 하에서 경사하강법의 수렴 속도는 네트워크 깊이에 독립적인가?
• RQ4 배치 정규화 및 Fixup과 비교해 본다면, 제안된 $\tau$-스케일링은 학습 안정성과 성능에서 어떤가?
• RQ5 $\tau = 1/\sqrt{L}$를 적용할 경우 정규화 레이어 없이도 ResNet을 효과적으로 학습시킬 수 있는가?

주요 결과

• $\tau = O(1/\sqrt{L})$는 깊은 ResNets에서 전방 및 역방향 전파의 안정성에 필수적이고 충분함을 입증함.
• 모든 $c > 0$에 대해 $\tau = L^{-1/2 + c}$일 경우 기대 출력 노름이 최소 $L^c$만큼 증가함을 보여, 더 큰 $\tau$에 대한 불안정성을 입증함.
• $\tau \leq \tilde{O}(1/\sqrt{L})$일 경우 과다 매개변수화된 ResNets에서 경사하강법이 전역 최소값으로 전역 수렴하며 깊이에 독립적인 수렴 속도를 보임.
• 경험적으로, $\tau = 1/\sqrt{L}$를 적용한 ResNet은 정규화 레이어 없이도 안정적으로 학습되며, CIFAR-10에서 검증 정확도 92.5%를 기록하여 Fixup 및 $\tau = 1/L$를 초월함.
• 배치 정규화를 갖는 ResNets에 $\tau = 1/\sqrt{L}$를 추가하면 성능이 더욱 향상됨을 보여, 이 인자가 상호보완적인 이점을 제공함을 입증함.
• 이 방법은 학습률 웜업이 필요 없음을 보여주며, 배치 정규화와 달리 매우 깊은 네트워크에서도 여전히 불안정성을 겪지 않음.