[논문 리뷰] Skip Connections Eliminate Singularities

A. Emin Orhan, Xaq Pitkow|arXiv (Cornell University)|2017. 01. 31.

Stochastic Gradient Optimization Techniques인용 수 86

한 줄 요약

본 논문은 스킵 연결(skip connections)이 손실 지형에서의 비식별성 특이점(제거, 중첩, 선형 의존)을 제거함으로써 심층 네트워크의 학습을 개선한다고 주장하며, 이 주장은 이론적 분석과 다양한 심층 네트워크 및 데이터셋에 대한 실증 결과로 뒷받침된다.

ABSTRACT

Skip connections made the training of very deep networks possible and have become an indispensable component in a variety of neural architectures. A completely satisfactory explanation for their success remains elusive. Here, we present a novel explanation for the benefits of skip connections in training very deep networks. The difficulty of training deep networks is partly due to the singularities caused by the non-identifiability of the model. Several such singularities have been identified in previous works: (i) overlap singularities caused by the permutation symmetry of nodes in a given layer, (ii) elimination singularities corresponding to the elimination, i.e. consistent deactivation, of nodes, (iii) singularities generated by the linear dependence of the nodes. These singularities cause degenerate manifolds in the loss landscape that slow down learning. We argue that skip connections eliminate these singularities by breaking the permutation symmetry of nodes, by reducing the possibility of node elimination and by making the nodes less linearly dependent. Moreover, for typical initializations, skip connections move the network away from the "ghosts" of these singularities and sculpt the landscape around them to alleviate the learning slow-down. These hypotheses are supported by evidence from simplified models, as well as from experiments with deep networks trained on real-world datasets.

연구 동기 및 목표

• 초깃값의 이점에도 불구하고 스킵 연결이 매우 깊은 네트워크의 학습에 도움이 되는 이유를 동기부여하고 설명한다.
• 학습을 느리게 하는 세 가지 유형의 특이점(제거, 중첩, 선형 의존)을 식별하고 특성화한다.
• 스킵 연결이 다양한 아키텍처와 데이터셋에 걸쳐 열등한 degeneracy를 줄이고 학습 속도를 높임을 입증한다.
• 표준 잔차 네트워크를 넘어 특이점을 더 완화하는 실용적 대안 및 아키텍처적 통찰을 제공한다.

제안 방법

• 완전연결층에서의 세 가지 특이점(제거, 중첩, 선형 의존)에 대한 모델 분석.
• 스킵 연결이 특이적 매니폴드를 방해하고 식별가능성을 회복하는 이론적 논의.
• Hessian 고유값 밀도 추정으로 CIFAR-100/CIFAR-10/100에서 평평한 네트워크, 잔차 네트워크, 하이-잔차 네트워크의 경험적 비교.
• 편향-대상 정규화를 통한 BiasReg의 도입으로 대칭성 파괴 및 제거적 특이점을 깨뜨리는 간단한 정규화 방법.
• 무동일(identity) 스킵 체계 및 난수 밀집 직교 스킵을 포함한 비대칭/대칭성 파괴 효과를 시험하는 비동일 스킵 체계의 평가.
• BiasReg 네트워크에서 배치 정규화의 영향 등을 포함한 그래디언트 노름 및 소실 그래디언트에 대한 조사.

실험 결과

연구 질문

• RQ1 스킵 연결이 심층 네트워크의 비식별성 특이점을 제거하는가?
• RQ2 제거, 중첩, 선형 의존 특이점이 학습 다이나믹스와 최적화 지형에 어떠한 영향을 미치는가?
• RQ3 초기화가 유리해지는 것을 넘어서 스킵 연결이 학습 속도와 안정성을 개선하는가?
• RQ4 BiasReg, 직교 스킵과 같은 대체 대칭성 파괴 방법이 스킵 연결의 이점을 재현할 수 있는가?

주요 결과

• 스킵 연결은 해시안( Hessian) 스펙트럼의 열화를 줄여 평범한(net)보다 더 빠른 학습과 상관성이 있다.
• 하이-잔차 아키텍처가 연구된 아키텍처들 중에서 가장 낮은 degeneracy와 초기 학습 속도가 가장 높게 나타났다.
• 대칭성을 깨뜨리기 위해 편향을 타겟팅하는 편향 규제(BiasReg)가 평범한 네트보다 성능을 향상시키지만 잔차보다 완전히 일치하지는 않는다.
• 직교(Dense) 스킵은 단위의 모호성을 더 잘 해결하고 제거/중첩 위험을 줄여 아이덴티티 스킵보다 약간 더 나은 성능을 보인다.
• 악의적 초기화 결과는 스킵 연결의 이점이 초기화 너머의 이점을 갖며 특이점 근처의 지형 재구성으로 이어진다는 것을 시사한다.
• 얕은 네트워크와 깊은 네트워크 모두에서 특이점이 최적화의 실질적 제약이며 스킵 연결이 이를 완화한다는 증거가 제시된다.