[논문 리뷰] Deep Residual Networks and Weight Initialization

Masato Taki|arXiv (Cornell University)|2017. 09. 09.

Advanced Neural Network Applications참고 문헌 15인용 수 13

한 줄 요약

이 논문은 깊이 있는 잔차 신경망(ResNets)을 위한 새로운 가중치 초기화 기법을 제안하며, 초기 가중치 분산에 대한 민감도를 줄여 훈련 안정성을 향상시킨다. 단순화된 ResNet 모델을 분석함으로써 저자들은 잔차 연결이 기울기 소실/폭발 문제를 본질적으로 감소시킴을 보이며, 추가적인 계산 비용 없이 배치 정규화와 유사한 성능을 보인다—특히 초기 훈련 단계에서 특히 그렇다.

ABSTRACT

Residual Network (ResNet) is the state-of-the-art architecture that realizes successful training of really deep neural network. It is also known that good weight initialization of neural network avoids problem of vanishing/exploding gradients. In this paper, simplified models of ResNets are analyzed. We argue that goodness of ResNet is correlated with the fact that ResNets are relatively insensitive to choice of initial weights. We also demonstrate how batch normalization improves backpropagation of deep ResNets without tuning initial values of weights.

연구 동기 및 목표

• 왜 ResNets가 표준 깊이 신경망보다 가중치 초기화에 더 강건한가를 이해하는 것.
• 잔차 연결이 깊이 있는 신경망에서 기울기 흐름과 신호 전파에 미치는 영향을 분석하는 것.
• 배치 정규화 없이도 깊이 있는 ResNets의 훈련 안정성을 향상시키는 새로운 가중치 초기화 방법을 개발하는 것.
• 제안된 초기화 방법이 초기 훈련 단계에서 He의 초기화와 배치 정규화에 비해 얼마나 효과적인지 비교하는 것.
• 매우 깊은 ResNets에서 기울기 폭발의 이론적 한계를 조사하는 것—배치 정규화가 있더라도.

제안 방법

• i.i.d. 대칭 가중치 분포를 가정한 단순화된 ResNet 모델을 분석하며, 잔차 블록은 $\boldsymbol{z}^{\ell} = f(\boldsymbol{W}^{\ell}\boldsymbol{z}^{\ell-1}) + \boldsymbol{z}^{\ell-1}$로 정의된다.
• 층 출력과 기울기의 분산 전파 방정식을 유도하여, ResNets는 평탄한 네트워크와 달리 기울기 분산이 선형적으로 증가함을 보이며 $\mathrm{Var}\left[\frac{\partial E}{\partial w^{\ell}}\right] \propto \frac{L}{\ell}$임을 밝힌다.
• 새로운 초기화 규칙(식 28)을 제안하며, 초기 가중치의 분산을 $\mathrm{Var}[w] = \frac{c}{nL}$로 제어함으로써 훈련 안정성을 높인다. 여기서 $n$은 피드인 수이고 $L$은 깊이이다.
• 이론적 분석에 배치 정규화를 도입하여, 기울기 폭발을 선형 증가로 줄이지만 매우 깊은 네트워크에서는 여전히 문제가 있음을 보여준다.
• 100층의 ResNets를 사용한 CIFAR-10에 대한 실험적 평가를 수행하며, 제안된 초기화 방법을 He의 초기화와 배치 정규화와 비교한다.
• 분산 전파와 역전파 분석을 활용하여 기울기 행동과 층 간의 신호 안정성을 정량화한다.

실험 결과

연구 질문

• RQ1 왜 ResNets는 표준 깊이 신경망보다 가중치 초기화에 더 덜 민감한가?
• RQ2 잔차 연결 구조는 깊이 있는 신경망에서 기울기 흐름과 신호 전파에 어떻게 영향을 미치는가?
• RQ3 간단한 가중치 초기화 규칙이 배치 정규화 수준의 훈련 안정성을 깊이 있는 ResNets에서 달성할 수 있는가?
• RQ4 매우 깊은 ResNets에서 기울기 폭발의 이론적 한계는 무엇인가—배치 정규화가 있더라도?
• RQ5 제안된 초기화 방법은 초기 훈련 안정성과 수렴 속도 측면에서 He의 초기화와 어떻게 비교되는가?

주요 결과

• 제안된 가중치 초기화 방법은 배치 정규화와 유사한 초기 훈련 안정성을 달성하며, CIFAR-10에서 한 에포크 후 평균 검증 정확도가 0.434이고 표준편차가 0.017이다.
• ResNets는 잔차 스킵 연결 덕분에 평탄한 네트워크보다 가중치 초기화에 더 덜 민감하며, 순방향 및 역방향 전파 동안 신호 크기를 유지한다.
• 깊이 있는 ResNets에서 기울기 분산은 깊이에 따라 선형적으로 증가하며 ($\mathrm{Var}\left[\frac{\partial E}{\partial w^{\ell}}\right] \propto \frac{L}{\ell}$), 이는 평탄한 네트워크에서 관찰되는 지수적 증가보다 훨씬 더 안정적이다.
• 배치 정규화는 기울기 폭발을 선형 증가로 줄이지만, 매우 깊은 네트워크($L \gg 1$)에서는 여전히 심각한 기울기 폭발을 초래하며, 특히 초기 층에서 그렇다.
• 제안된 초기화 방법은 초기 훈련 단계에서 배치 정규화가 필요 없음을 보여주며, 최소한의 계산 오버헤드로 가벼운 대안을 제공한다.
• 배치 정규화가 있더라도 매우 깊은 ResNets는 잔차 기울기 증가로 인해 이론적 한계에 직면해 있으며, 이는 극도로 깊은 깊이에서 초기화만으로는 문제를 완전히 해결할 수 없음을 시사한다.