[논문 리뷰] Analysis on Gradient Propagation in Batch Normalized Residual Networks

Abhishek Panigrahi, Yueru Chen외 1명|arXiv (Cornell University)|2018. 12. 02.

Geophysical Methods and Applications참고 문헌 6인용 수 5

한 줄 요약

이 논문은 잔차 연결이 있는 백터노멀라이제이션(BN)에 대한 수학적 분석을 제공하며, BN과 잔차 연결이 층 간에 기울기 분산을 유한한 범위 내에 유지함으로써 기울기 역전파를 공동으로 안정화시킴을 보여준다. 주요 기여는 BN이 기울기 폭발/소멸을 방지하는 데 필수적임을 입증한 것으로, 실험을 통해 잔차 연결이 유지되더라도 BN을 제거하면 훈련에 심각한 영향을 미친다는 것이 확인되었다.

ABSTRACT

We conduct mathematical analysis on the effect of batch normalization (BN) on gradient backpropogation in residual network training, which is believed to play a critical role in addressing the gradient vanishing/explosion problem, in this work. By analyzing the mean and variance behavior of the input and the gradient in the forward and backward passes through the BN and residual branches, respectively, we show that they work together to confine the gradient variance to a certain range across residual blocks in backpropagation. As a result, the gradient vanishing/explosion problem is avoided. We also show the relative importance of batch normalization w.r.t. the residual branches in residual networks.

연구 동기 및 목표

• 잔차 신경망에서 배치 정규화(BN)가 기울기 역전파에 미치는 영향을 수학적으로 분석하는 것.
• BN과 잔차 연결이 훈련 중 기울기 소멸/폭발 문제를 공동으로 완화하는 방식을 이해하는 것.
• 깊이 있는 잔차 신경망의 안정적 훈련을 가능하게 하는 데 있어 BN과 잔차 분기의 상대적 중요도를 정량화하는 것.
• 이론적 및 실증적 증거를 제공하여, 잔차 연결이 존재하더라도 BN이 기울기 안정성에 필수적임을 입증하는 것.

제안 방법

• 배치 정규화, 컨볼루션, ReLU 활성화 함수로 구성된 층을 통과하는 기울기 전파에 대한 수학적 모델을 유도한다.
• 잔차 블록을 통과하는 기울기의 평균과 분산 행동을 분석한다.
• BN과 잔차 분기 간의 상호작용을 모델링하여, 둘이 함께 기울기 분산을 층 간에 제약하는 방식을 보여준다.
• CIFAR-10에서 세 가지 변형(완전한 잔차 신경망(BN + 잔차), BN 전용, 잔차 전용)을 사용해 실증 평가를 수행한다.
• 훈련의 다양한 시점에서 잔차 블록 간 기울기 분산을 측정하여 안정성을 평가한다.
• Xavier 가중치 초기화를 사용하고, 훈련/검증 정확도 및 손실 동역학을 추적하여 모델 성능을 비교한다.

실험 결과

연구 질문

• RQ1 배치 정규화는 기울기 역전파 중 잔차 신경망에서 기울기 분산 전파에 어떻게 영향을 미치는가?
• RQ2 배치 정규화와 잔차 연결이 훈련 안정성에 기여하는 상대적 기여도는 무엇인가?
• RQ3 잔차 스킵 연결이 존재하더라도 배치 정규화가 없는 잔차 신경망은 효과적으로 훈련될 수 있는가?
• RQ4 BN이 제거되거나 유지될 경우, 잔차 블록 간 기울기 분산은 어떻게 변화하는가?

주요 결과

• 배치 정규화와 잔차 연결은 기울기 역전파 중 잔차 블록 간 기울기 분산을 안정된 범위 내에 유지하기 위해 상호보완적으로 작용한다.
• 배치 정규화를 제거하면 즉각적으로 기울기 폭발이 발생하여 네트워크를 훈련시킬 수 없게 되며, 이는 잔차 전용 모델에서 1번째 에포크에 정의되지 않은 손실이 나타남으로써 입증된다.
• 잔차 분기 없이 배치 정규화만 존재하는 모델는 90.6%의 테스트 정확도를 달성하여, BN만으로도 상당한 학습이 가능하다는 것을 보여주지만, 전체 잔차 신경망에 비해 낮은 성능을 보인다.
• BN과 잔차 브랜치를 모두 포함한 전체 잔차 신경망은 92.5%의 테스트 정확도를 기록하여, 두 변형보다 뛰어난 성능을 보이며, 이는 양쪽 구성 요소가 최적 성능을 위해 필수적임을 시사한다.
• BN이 있는 모델(잔차 브랜치 유무에 관계없이)에서는 기울기 분산이 유한하게 유지되지만, BN이 없는 경우 기울기 분산이 폭발함을 확인하여, BN이 기울기 안정성에 핵심적인 역할을 함을 입증한다.
• 잔차 연결이 존재하더라도 BN이 없으면 제어되지 않는 기울기 동역학으로 인해 훈련에 실패하게 되며, 이는 BN이 깊이 있는 잔차 신경망 훈련에서 필수적임을 강조한다.