[논문 리뷰] The Loss Surface of Residual Networks: Ensembles and the Role of Batch Normalization

Etai Littwin, Lior Wolf|arXiv (Cornell University)|2016. 11. 08.

Adversarial Robustness in Machine Learning참고 문헌 4인용 수 7

한 줄 요약

이 논문은 Residual Networks(ResNets)가 훈련 중에 깊이가 점차 증가하는 얕은 네트워크의 동적 앙상블으로 작용하며, 이는 주로 배치 정규화(Batch Normalization)의 스케일링 행동에 의해 이끌린다. 일반화된 스핀 거품 모델을 사용하여 저자들은 이러한 동적 앙상블 행동이 최적화의 임계점을 감소시켜, 높은 깊이에도 불구하고 깊은 ResNets가 효과적으로 훈련될 수 있음을 설명한다.

ABSTRACT

Deep Residual Networks present a premium in performance in comparison to conventional networks of the same depth and are trainable at extreme depths. It has recently been shown that Residual Networks behave like ensembles of relatively shallow networks. We show that these ensembles are dynamic: while initially the virtual ensemble is mostly at depths lower than half the network's depth, as training progresses, it becomes deeper and deeper. The main mechanism that controls the dynamic ensemble behavior is the scaling introduced, e.g., by the Batch Normalization technique. We explain this behavior and demonstrate the driving force behind it. As a main tool in our analysis, we employ generalized spin glass models, which we also use in order to study the number of critical points in the optimization of Residual Networks.

연구 동기 및 목표

• 깊은 Residual Networks가 깊이가 매우 높음에도 불구하고 효과적으로 훈련되는 이유를 이해하는 것.
• 배치 정규화가 ResNets의 최적화 지형을 어떻게 형성하는지 조사하는 것.
• 일반화된 스핀 거품 모델을 사용하여 ResNets의 손실 표면을 분석하는 것.
• ResNets의 스킵 연결에 의해 형성되는 가상의 앙상블의 동적 행동을 설명하는 것.

제안 방법

• 저자들은 스핀 거품 모델을 일반화하여 ResNets의 손실 표면을 표현하고, 이를 다중 구형 스핀 거품 모델의 해밀토니안과 연결한다.
• ResNets를 깊이 분포가 계수 $\epsilon_r$에 의해 파arameter화된 얕은 네트워크의 앙상블으로 모델링하며, 이는 훈련 중에 변화한다.
• 최적화 복잡도를 연구하기 위해 Auffinger & Arous(2013)에서 유도된 $\theta_k(u, \bm{\epsilon})$를 통한 渐近적 평균 임계점 수를 분석한다.
• 제약 조건이 붙은 최적화 프레임워크를 적용하여, 비균일한 상호작용 혼합물이 균일한 것보다 더 적은 임계점을 가짐을 보여준다.
• 배치 정규화의 역할을 분석하기 위해, 그 스케일링 효과를 $\epsilon_r$ 계수의 동적 이동으로 모델링하여 앙상블 깊이 분포를 변화시킨다.
• 이론적 결과는 훈련이 진행됨에 따라 앙상블의 효과적 깊이가 증가하는 방식에 대한 경험적 통찰으로 뒷받침된다.

실험 결과

연구 질문

• RQ1 ResNet의 가상 앙상블의 효과적 깊이는 훈련 중에 어떻게 변화하는가?
• RQ2 ResNets에서 앙상블 깊이의 동적 행동을 이끄는 메커니즘은 무엇인가?
• RQ3 배치 정규화는 가상 앙상블의 효과적 깊이 분포에 어떻게 영향을 미치는가?
• RQ4 ResNets의 손실 표면과 스핀 거품 모델 간의 관계는 무엇인가?
• RQ5 왜 ResNets는 극도로 깊은 깊이에서도 일반화가 잘 되고 효과적으로 훈련되는가?

주요 결과

• ResNet의 가상 앙상블은 얕은 네트워크(네트워크 깊이의 절반 이하)가 지배하는 것으로 시작되며, 훈련이 진행됨에 따라 효과적 깊이가 동적으로 증가한다.
• 이 동적 행동의 주요 원동력은 배치 정규화에 의해 도입되는 스케일링으로, 시간이 지남에 따라 증가하며 앙상블 분포를 더 깊은 경로로 이동시킨다.
• 일반적인 네트워크와 같은 깊이를 가진 ResNets의 최적화 지형에서의 임계점 수는 더 적다. 이는 일반화된 스핀 거품 모델에서 비균일한 상호작용 혼합물 때문이기 때문이다.
• 이론적 분석에 따르면, 비균일한 스핀 거품 상호작용 혼합물은 오직 하나의 상호작용 강도만을 가진 균일한 혼합물보다 유한 인덱스 임계점을 더 적게 포함한다.
• 손실 함수가 얕은 앙상블이 지배하는 초기에 낮은 에너지에 도달하므로, 최적화 과정에서 고인덱스 임계점에 갇힐 가능성이 낮아진다.
• 임계점 수를 최소화하는 최적의 구성은 오직 가장 깊은 상호작용($r=p$)만 활성화된 경우이며, 이는 더 깊은 앙상블이 최적화에 더 유리하다는 것을 시사한다.