[논문 리뷰] ZerO Initialization: Initializing Neural Networks with only Zeros and Ones

Jiawei Zhao, Florian Schäfer외 1명|arXiv (Cornell University)|2021. 10. 25.

Advanced Neural Network Applications참고 문헌 10인용 수 10

한 줄 요약

이 논문은 랜덤 초기화 없이 신뢰성 있는 신호 전파를 보장하고 랜덤 분산 조정이 필요 없도록, 항등 및 헤르무드 변환을 통해 0과 1만을 사용하는 완전히 결정적인 가중치 초기화 방법 ZerO를 제안한다. 이는 랜덤 초기화 없이 ImageNet에서 최고 성능을 달성하며, 초초기 신경망(예: 500층 이상)의 안정적인 학습이 가능하고, 저질서 학습 궤적을 보이며, 희박하고 복잡도가 낮은 모델을 생성함으로써 재현 가능성을 향상시킨다.

ABSTRACT

Deep neural networks are usually initialized with random weights, with adequately selected initial variance to ensure stable signal propagation during training. However, selecting the appropriate variance becomes challenging especially as the number of layers grows. In this work, we replace random weight initialization with a fully deterministic initialization scheme, viz., ZerO, which initializes the weights of networks with only zeros and ones (up to a normalization factor), based on identity and Hadamard transforms. Through both theoretical and empirical studies, we demonstrate that ZerO is able to train networks without damaging their expressivity. Applying ZerO on ResNet achieves state-of-the-art performance on various datasets, including ImageNet, which suggests random weights may be unnecessary for network initialization. In addition, ZerO has many benefits, such as training ultra deep networks (without batch-normalization), exhibiting low-rank learning trajectories that result in low-rank and sparse solutions, and improving training reproducibility.

연구 동기 및 목표

• 랜덤 가중치 초기화가 깊은 신경망 학습에 필수적인가를 조사하는 것.
• 매우 깊은 신경망에서 분산 선택 문제와 기울기 폭주/소실 문제를 해결하는 것.
• 안정적인 신호 전파를 보장하고 랜덤 분산 조정이 필요 없는 결정적 초기화 방법을 개발하는 것.
• 결정적 초기화가 낮은 복잡도, 희박성, 재현 가능성을 갖춘 모델을 도출할 수 있는지 탐색하는 것.

제안 방법

• ZerO는 항등 및 헤르무드 변환의 결정적 적용을 통해 가중치를 0과 1만으로 초기화한다.
• 이 방법은 잔차 블록에서 차원을 유지하기 위해 항등 행렬을 적용하고, 차원 증가 레이어에서는 헤르무드 행렬의 열을 사용한다.
• 랜덤 변형 없이도 신호 전파 안정성을 유지함으로써 동적 등장성(동적 등장성)을 확보한다.
• 모든 레이어에 동일하게 적용되어 랜덤 가중치 분산 조정이 전혀 필요 없다.
• ZerO는 헤르무드 및 항등 행렬의 구조를 활용해 완전히 결정적이고 정규화된 초기화 체계를 구축한다.
• 이 방법은 배치 정규화 없이도 학습이 가능하며 초초기 아키텍처를 지원한다.

실험 결과

연구 질문

• RQ1 랜덤 가중치 초기화 없이도 깊은 신경망을 효과적으로 학습시킬 수 있는가?
• RQ2 0과 1만을 사용하는 결정적 초기화가 네트워크 표현력과 일반화 능력을 유지하는가?
• RQ3 ZerO 학습이 ImageNet과 같은 표준 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 ZerO가 저질서 학습 궤적을 유도하고 희박하고 복잡도가 낮은 해법을 도출하는가?
• RQ5 ZerO는 랜덤 초기화보다 학습 재현 가능성을 향상시킬 수 있는가?

주요 결과

• ZerO는 랜덤 초기화 없이도 ImageNet에서 최고 성능을 달성하며, 기존 표준 방법을 뛰어넘는다.
• ZerO는 배치 정규화 없이도 500층 이상의 ResNet 아키텍처를 안정적으로 학습시킬 수 있다.
• ZerO는 기울기 감소하는 저질서 학습 궤적을 보이며, 학습 과정에서 행렬 질서가 점진적으로 증가한다.
• ZerO로 학습된 모델은 정확도 손실 없이 랜덤 초기화 대비 커널 근사에서 25% 높은 희박성 또는 30% 낮은 질서를 달성한다.
• ZerO는 랜덤 시드 의존성에서 비롯되는 초기화의 영향을 제거함으로써 학습 재현 가능성을 향상시킨다.
• 이 방법은 낮은 복잡도 해법으로 수렴하도록 유도하여, 정제 및 저질서 근사 기반의 더 효율적인 추론 가능성을 시사한다.