[논문 리뷰] Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural Network Initialization?

Yaniv Blumenfeld, Dar Gilboa외 1명|arXiv (Cornell University)|2020. 07. 02.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 신호 전파와 기울기 안정성이 유지되는 한, 초기화 시 동일하고 다각도가 없는 특징을 가진 딥 네ural 네트워크도 높은 정확도를 달성할 수 있음을 보여준다. 거의 모든 가중치를 0으로 초기화하고 대신 비결정적인 GPU 연산을 통해 대칭성 붕괴를 유도함으로써, 저자들은 CIFAR-10에서 표준 랜덤 초기화 성능과 유사한 성능을 보이는 동일한 특징을 가진 네트워크를 훈련시켰으며, 이는 가중치 초기화 시 특징의 다양성이 반드시 필요하지 않다는 것을 도전한다.

ABSTRACT

Deep neural networks are typically initialized with random weights, with variances chosen to facilitate signal propagation and stable gradients. It is also believed that diversity of features is an important property of these initializations. We construct a deep convolutional network with identical features by initializing almost all the weights to $0$. The architecture also enables perfect signal propagation and stable gradients, and achieves high accuracy on standard benchmarks. This indicates that random, diverse initializations are extit{not} necessary for training neural networks. An essential element in training this network is a mechanism of symmetry breaking; we study this phenomenon and find that standard GPU operations, which are non-deterministic, can serve as a sufficient source of symmetry breaking to enable training.

연구 동기 및 목표

• 랜덤하고 다양한 특징 초기화가 성공적인 딥 러닝 훈련을 위해 진정으로 필수적인지 조사하기 위해.
• 신호 전파와 기울기 안정성만으로도 동일한 초기 특징을 가진 네트워크에서도 훈련이 가능할 수 있는지 가설을 검증하기 위해.
• 비결정적인 하드웨어 연산이 동일한 초기 특징을 가진 네트워크에서 충분한 대칭성 붕괴 메커니즘으로 기능할 수 있는지 탐색하기 위해.
• 다양한 대칭성 붕괴 메커니즘(예: 하드웨어 노이즈, 드롭아웃, 가중치 양자화)이 대칭적으로 초기화된 네트워크의 훈련 성공에 미치는 영향을 평가하기 위해.

제안 방법

• 저자들은 거의 모든 가중치를 0으로 초기화하여 채널 간에 동일한 초기 특징을 보장하는 깊은 합성곱 네트워크를 구축한다.
• 스킵 연결을 0으로 초기화한 수정된 잔차 블록 구조를 사용하여 네트워크 내에서 안정적인 신호 전파와 기울기 흐름을 유지한다.
• 백프로파게이션 동안 대칭성 붕괴의 주요 원천으로 비결정적인 GPU 연산(예: 부동소수점 반올림 오차)에 의존한다.
• 다양한 하드웨어 플랫폼과 정밀도 형식(FP32, FP16)에서 훈련 성능을 평가하며, 드롭아웃과 같은 추가적인 대칭성 붕괴 메커니즘 유무를 비교한다.
• 대칭성 붕괴 정도를 측정하기 위해 기울기 편향 노름과 레이어 간 특징 상관계수 감쇠를 측정하여 훈련 중 대칭성 붕괴 속도를 정량화한다.
• 다양한 초기화 방식과 대칭성 붕괴 메커니즘(하드웨어 노이즈, 드롭아웃, 양자화 효과 포함)에 대한 모델 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 동일한 초기 특징을 가진 딥 네럴 네트워크가 표준 벤치마크에서 높은 테스트 정확도를 달성할 수 있는가?
• RQ2 딥 네트워크의 성공적인 훈련을 위해 가중치 초기화 시 특징 다양성이 필수적인 조건인가?
• RQ3 비결정적인 GPU 연산이 동일한 초기 특징을 가진 네트워크에서 학습을 가능하게 하기 위해 충분한 대칭성 붕괴 원천이 될 수 있는가?
• RQ4 다양한 대칭성 붕괴 메커니즘(예: 드롭아웃, 하드웨어 노이즈, 양자화)이 대칭적으로 초기화된 네트워크의 훈련 성능에 어떤 영향을 미치는가?
• RQ5 하드웨어나 부동소수점 정밀도의 선택이 0으로 초기화된 네트워크에서 대칭성 붕괴의 효과성에 영향을 미치는가?

주요 결과

• 모든 가중치 중 하나를 제외하고 0으로 초기화한(결과적으로 동일한 초기 특징을 가진) 딥 잔차 네트워크가 CIFAR-10에서 94.8%의 테스트 정확도를 달성하여 표준 랜덤 초기화 성능과 유사했다.
• 비결정적인 GPU 연산만으로도 대칭성을 붕괴시키고 성공적인 훈련을 가능하게 했으며, 드롭아웃이나 기타 명시적 노이즈 메커니즘이 없어도 충분했다.
• FP16 하드웨어에서는 GPU 노이즈만으로는 훈련에 부족하여 높은 정확도를 달성하기 위해 드롭아웃과 같은 추가 메커니즘이 필요했다.
• 일부 GPU에서 하드웨어 노이즈만을 사용할 경우, 0으로 초기화된 모델과 랜덤 초기화 모델 간 정확도 격차가 70% 이상이었으며, 이는 하드웨어 의존적 성능을 시사했다.
• 후행 레이어에만 드롭아웃을 적용하는 것은 첫 번째 레이어에서 대칭성을 붕괴시키지 못했지만, 모든 레이어에 드롭아웃을 적용하면 랜덤 초기화와의 정확도 격차를 해소했다.
• 모든 가중치를 1로 또는 항등행렬로 초기화한 네트워크에서는 대칭성 붕괴 과정이 더 느렸으며, 유사한 성능에 도달하기 위해 더 많은 훈련 스텝이 필요했다.