[논문 리뷰] Towards Understanding the Condensation of Neural Networks at Initial Training

Hanxu Zhou, Zhou, Qixuan외 3명|arXiv (Cornell University)|2021. 05. 25.

Neural Networks and Applications참고 문헌 24인용 수 8

한 줄 요약

이 논문은 초기 학습 단계에서 작은 초기화가 과다 파rameter화된 ReLU 신경망에서 응집 현상을 유도하는 방식을 조사한다. 응집된 입력 가중치 방향의 최대 수는 활성화 함수가 0에서의 다중도의 두 배임을 보여주며, 이는 다중도가 1인 활성화 함수(예: ReLU, GELU)와 임의의 차원의 1차원 입력에 대해 이론적으로 확인된다. 이는 활성화의 부드러움과 응집을 통한 암묵적 정규화 사이의 기본적인 연결고리를 드러낸다.

ABSTRACT

Empirical works show that for ReLU neural networks (NNs) with small initialization, input weights of hidden neurons (the input weight of a hidden neuron consists of the weight from its input layer to the hidden neuron and its bias term) condense on isolated orientations. The condensation dynamics implies that the training implicitly regularizes a NN towards one with a much smaller effective size. In this work, we illustrate the formation of the condensation in multi-layer fully connected NNs and show that the maximal number of condensed orientations in the initial training stage is twice the multiplicity of the activation function, where "multiplicity" indicates the multiple roots of activation function at origin. Our theoretical analysis confirms experiments for two cases, one is for the activation function of multiplicity one with arbitrary dimension input, which contains many common activation functions, and the other is for the layer with one-dimensional input and arbitrary multiplicity. This work makes a step towards understanding how small initialization leads NNs to condensation at the initial training stage.

연구 동기 및 목표

• 작은 초기화를 통한 과다 파arameter화된 신경망에서의 입력 가중치 응집 메커니즘을 이해하는 것.
• 0에서의 활성화 함수의 다중도와 응집된 가중치 방향의 최대 수 사이의 관계를 규명하는 것.
• 다층 완전 연결 네트워크에서 관찰된 응집 현상에 대한 이론적 근거를 제공하는 것.
• 이전의 이중층 ReLU 네트워크 연구를 일반 활성화 함수와 더 깊은 아키텍처로 확장하는 것.

제안 방법

• 이론적 분석은 두 경우에 대해 수행된다: (1) 임의의 입력 차원을 가진 다중도가 1인 활성화 함수, (2) 임의의 다중도를 가진 1차원 입력.
• 응집 현상은 초기 학습 단계에서 입력 가중치의 동역학을 분석함으로써 다루어지며, 이는 고립된 방향으로 가중치가 정렬되는 방식에 초점이 맞춰져 있다.
• 0에서 활성화 함수의 다중도는 도함수가 0이 되는 차수로 정의되며, p차 도함수는 0이 아닌 값을 가진다.
• 다양한 활성화 함수(예: ReLU, GELU, x²tanh(x))를 사용한 다층 완전 연결 네트워크에서 실험을 수행하여 이론적 예측을 검증한다.
• 은닉 뉴런의 입력 가중치 벡터 간의 각도 거리를 사용하여 응집된 방향의 수를 정량화한다.
• 작은 가우시안 초기화, Adam 옵timizer, 교차 엔트로피 또는 MSE 손실을 사용하여 학습을 수행하며, MNIST, CIFAR100 및 합성 저주파수/고주파수 함수 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 신경망의 초기 학습 단계에서 응집된 입력 가중치 방향의 최대 수는 무엇에 의해 결정되는가?
• RQ2 0에서 활성화 함수의 다중도는 응집 동역학에 어떻게 영향을 미치는가?
• RQ3 다층 완전 연결 네트워크에서 응집 현상을 설명할 수 있는 이론적 프레임워크는 존재하는가? 이는 이중층 ReLU 네트워크를 초월하여 적용 가능한가?
• RQ4 목표 함수의 복잡도는 응집된 방향의 수에 영향을 미치는가?

주요 결과

• 초기 학습 단계에서 응집된 입력 가중치 방향의 최대 수는 활성화 함수가 0에서의 다중도의 두 배이다.
• 다중도가 1인 활성화 함수(예: ReLU, GELU, 시그모이드)의 경우, 입력 차원에 관계없이 응집된 방향의 최대 수는 항상 2이다.
• 1차원 입력 설정에서는 응집된 방향의 수가 다중도의 두 배와 정확히 일치하여 이론적 예측을 확인한다.
• 실험 결과에 따르면 저주파수 목표 함수(예: MNIST, CIFAR100)는 낮은 응집 방향 수를 유도하며, 이는 네트워크가 저복잡도 함수를 학습한다는 점과 일치한다.
• 응집 동역학은 네트워크를 더 단순한 상태로 재설정하며, 이는 학습 과정에서 단순한 표현에서 복잡한 표현으로 점진적으로 전이되는 데 기여한다.
• 이론적 분석은 작은 초기화 조건 하에서 응집 현상이 자연스럽게 발생함을 확인하며, 활성화의 부드러움과 암묵적 정규화 사이의 연결고리를 규명한다.