[논문 리뷰] Skip Connections as Effective Symmetry-Breaking.

A. Emin Orhan|arXiv (Cornell University)|2017. 01. 31.

Neural Networks and Applications인용 수 17

한 줄 요약

이 논문은 딥 네ural 네트워크에서의 스킵 커넥션(skiп 커넥션)이 주로 손실 곡면에서 순열 대칭성과 스케일링 대칭성을 깨뜨림으로써 훈련 동역학을 크게 단순화시킨다고 제안한다. 이중 가중치 모델과 완전 연결 네트워크에서의 실증적 증거는 스킵 커넥션이 허용하는 대칭성 깨짐이 훈련 성공의 핵심이며, 스킵 커넥션은 기울기 소실 문제 완화에도 추가적인 이점을 제공한다는 것을 보여준다.

ABSTRACT

Skip connections made the training of very deep neural networks possible and have become an indispendable component in a variety of neural architectures. A completely satisfactory explanation for their success remains elusive. Here, we present a novel explanation for the benefits of skip connections in training very deep neural networks. We argue that skip connections help break symmetries inherent in the loss landscapes of deep networks, leading to drastically simplified landscapes. In particular, skip connections between adjacent layers in a multilayer network break the permutation symmetry of nodes in a given layer, and the recently proposed DenseNet architecture, where each layer projects skip connections to every layer above it, also breaks the rescaling symmetry of connectivity matrices between different layers. This hypothesis is supported by evidence from a toy model with binary weights and from experiments with fully-connected networks suggesting (i) that skip connections do not necessarily improve training unless they help break symmetries and (ii) that alternative ways of breaking the symmetries also lead to significant performance improvements in training deep networks, hence there is nothing special about skip connections in this respect. We find, however, that skip connections confer additional benefits over and above symmetry-breaking, such as the ability to deal effectively with the vanishing gradients problem.

연구 동기 및 목표

• 스킵 커넥션이 매우 깊은 신경망의 훈련을 가능하게 하는 이유를 설명하는 것.
• 스킵 커넥션의 성공이 기울기 흐름 그 자체가 아니라 손실 곡면에서의 대칭성 깨짐 때문인지 조사하는 것.
• 대체 대칭성 깨짐 메커니즘을 통해 유사한 훈련 성능 향상을 달성할 수 있는지 테스트하여, 스킵 커넥션이 이 목적을 위해 유일무이자 않다는 것을 시사하는 것.

제안 방법

• 손실 곡면에서의 대칭성 깨짐 효과를 분리하기 위해 이진 가중치를 가진 단순 모델을 분석하는 것.
• 다양한 연결 패턴 하에서의 훈련 동역학을 비교하기 위해 완전 연결 네트워크를 활용한 실험 설계.
• 동일한 레이어 내의 노드 간 순열 대칭성을 깨는 데 있어 스킵 커넥션의 역할을 도입하고 평가하는 것.
• DenseNet의 조밀한 연결 패턴이 레이어 간 스케일링 대칭성을 어떻게 깨는지 분석하는 것.
• 스킵 커넥션 여부와 관계없이 대칭성을 깨는지 여부에 따라 아키텍처 간 훈련 성능을 비교하는 것.
• 대칭성 깨짐 외에도 스킵 커넥션이 기울기 흐름에 미치는 영향, 특히 기울기 소실 문제 완화에 기여하는 방식을 평가하는 것.

실험 결과

연구 질문

• RQ1 스킵 커넥션은 동일한 레이어 내의 은닉 노드 간 순열 대칭성을 어느 정도 깨뜨림으로써 훈련을 향상시키는가?
• RQ2 스킵 커넥션 없이도 동일한 대칭성을 깨는 대체 연결 패턴을 통해 유사한 훈련 성능를 달성할 수 있는가?
• RQ3 레이어 간 연결 행렬의 스케일링 대칭성 역시 깊은 네트워크의 효과적인 훈련을 위해 깨져야 하는가?
• RQ4 스킵 커넥션의 이점은 순수하게 대칭성 깨짐 때문인가, 아니면 추가적인 이점도 존재하는가?
• RQ5 스킵 커넥션은 대칭성 깨짐 외에 기울기 소실 문제 완화에 어떻게 기여하는가?

주요 결과

• 스킵 커넥션은 동일한 레이어 내의 노드 간 순열 대칭성을 깨뜨릴 때에만 훈련을 크게 향상시킨다.
• 스킵 커넥션 없이도 대칭성을 깨는 대체 연결 패턴을 통해 설계된 아키텍처가 유사한 훈련 성능를 달성함으로써, 대칭성 깨짐이 핵심 메커니즘이라는 것을 시사한다.
• DenseNet 아키텍처는 밀집된 스킵 커넥션 덕분에 레이어 간 스케일링 대칭성을 깨뜨리며 최적화 향상에 기여한다.
• 대칭성 깨짐은 효과적인 훈련을 위해 필수적이지만 충분하지 않으며, 스킵 커넥션은 기울기 소실 문제 완화를 위한 추가적인 이점을 제공한다.
• 이진 가중치 모델과 완전 연결 네트워크에서의 실증 결과는 대칭성 깨짐이 깊은 네트워크에서 훈련 성공의 주요 원동력임을 확인한다.