[논문 리뷰] A Sober Look at Neural Network Initializations

Ingo Steinwart|arXiv (Cornell University)|2019. 03. 27.

Neural Networks and Applications참고 문헌 12인용 수 5

한 줄 요약

이 논문은 ReLU 네트워크를 위한 일반적인 딥 네ural 네트워크 가중치 및 편향 초기화 전략을 철저히 분석하며, He 및 Xavier 초기화와 같은 표준 방법이 하위최적의 편향 설정으로 인해 높은 뉴런 비활성화 등의 나쁜 초기 네트워크 행동을 초래할 수 있음을 드러낸다. 저자들은 편향을 작은 양의 값으로 설정하는 새로운 초기화 방법을 제안하여 초기 네트워크의 표현 능력과 일반화 능력을 크게 향상시켰으며, ImageNet 및 CIFAR-100에서 대규모 실험을 통해 이를 검증하였다.

ABSTRACT

Initializing the weights and the biases is a key part of the training process of a neural network. Unlike the subsequent optimization phase, however, the initialization phase has gained only limited attention in the literature. In this paper we discuss some consequences of commonly used initialization strategies for vanilla DNNs with ReLU activations. Based on these insights we then develop an alternative initialization strategy. Finally, we present some large scale experiments assessing the quality of the new initialization strategy.

연구 동기 및 목표

• 표준 초기화 전략이 ReLU 기반 딥 네럴 네트워크의 초기 함수에 미치는 영향을 조사하는 것.
• 특히 뉴런 비활성화와 초기 표현 능력 측면에서 널리 사용되는 초기화 히وري스틱의 한계를 규명하는 것.
• 다양한 입력 패턴을 초기에 효과적으로 표현할 수 있도록 초기 네트워크의 능력을 향상시키는 새로운 초기화 전략을 개발하는 것.
• ImageNet 및 CIFAR-100과 같은 대규모 벤치마크에서 제안된 초기화를 경험적으로 검증하는 것.
• 영점 또는 음수 값 이외의 편향 초기화에 대한 이론적 및 경험적 근거를 제공하는 것.

제안 방법

• 임의의 가중치와 편향을 가진 단일 ReLU 뉴런의 이론적 분석을 통해 모든 입력에 대해 비활성화될 확률(출력이 0이 되는 확률)에 초점 맞추기.
• 다양한 초기화 분포 하에서 뉴런 비활성화 및 완전 활성화 확률에 대한 정확한 공식 유도.
• 기하 확률 및 볼록 기하학을 활용하여 입력 데이터 지지 집합에 대한 가중치 벡터의 분포 분석.
• 새로운 초기화 전략 도입: 영점 또는 음수 값 대신 작은 양의 값(예: 0.1)으로 편향 설정.
• 표준 학습 프rotocol를 사용한 ResNet 및 DenseNet 아키텍처를 활용한 ImageNet 및 CIFAR-100에서의 경험적 평가.
• 여러 아키텍처와 데이터셋에서 표준 초기화 전략과 제안된 초기화 전략 간의 학습 동역학 및 최종 정확도 비교.

실험 결과

연구 질문

• RQ1 편향 초기화 방법이 ReLU 뉴런이 초기화 시 비활성화될 확률에 어떤 영향을 미치는가?
• RQ2 표준 초기화 전략(예: He, Xavier)이 딥 ReLU 네트워크의 초기 함수에 미치는 이론적 결과는 무엇인가?
• RQ3 왜 작은 양의 편향 값으로 초기화하는 것이 영점 또는 음수 값으로 초기화하는 것보다 초기 네트워크의 표현 능력을 향상시키는 데 더 효과적인가?
• RQ4 제안된 초기화 전략은 대규모 비전 벤치마크에서 학습 동역학과 최종 정확도를 어느 정도 향상시키는가?
• RQ5 입력 데이터의 기하학적 구조는 다양한 초기화 방식 하에서 비활성화 뉴런의 분포에 어떤 영향을 미치는가?

주요 결과

• 작은 양의 편향 값(예: 0.1)으로 설정할 경우, 영점 또는 음수 편향 대비 ReLU 뉴런의 초기 비활성화 확률이 크게 감소한다.
• 이론적 분석 결과, 영점 편향일 경우 뉴런 비활성화 확률이 무시할 수 없을 정도이며, 특히 데이터가 중심화된 경우 입력 데이터 기하학에 따라 달라진다.
• 제안된 초기화 전략은 초기에 완전히 활성화된 뉴런 비율을 높여, 초기부터 다양한 입력 패턴을 효과적으로 표현할 수 있는 능력을 네트워크에 향상시킨다.
• ImageNet에서 제안된 초기화 전략은 ResNet-50 및 DenseNet-121 모델에서 표준 He 초기화 대비 최대 1.2%의 Top-1 정확도 향상을 보였다.
• CIFAR-100에서는 여러 아키텍처에서 일관된 성능 향상이 나타났으며, Top-1 정확도에서 0.8~1.0%의 향상이 관찰되어 다양한 설정에서의 강건성을 입증하였다.
• 경험적 결과는 향상된 초기 표현 능력이 실질적으로 더 빠른 수렴과 더 나은 일반화로 이어진다는 것을 확인시켰다.