[논문 리뷰] Edge of chaos as a guiding principle for modern neural network training

Lin Zhang, Ling Feng외 2명|arXiv (Cornell University)|2021. 07. 20.

Neural Networks and Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망을 동역학적 시스템이 최적의 계산 능력을 보이는 혼돈의 경계에서 훈련시키면, 더 빠르고 더 강건한 훈련을 위한 초기화 조정을 이끌 수 있다는 것을 제안한다. 단순한 피드포워드 네트워크에서 모멘텀을 사용한 확률적 경사 하강법를 적용하여, 순서 있는 단계에서의 척도 관계를 규명함으로써 성능 손실 없이 훈련 속도를 높일 수 있으며, 가중치 감소가 모델을 혼돈의 경계로 효과적으로 이동시켜 최적의 일반화를 가능하게 한다.

ABSTRACT

The success of deep neural networks in real-world problems has prompted many attempts to explain their training dynamics and generalization performance, but more guiding principles for the training of neural networks are still needed. Motivated by the edge of chaos principle behind the optimal performance of neural networks, we study the role of various hyperparameters in modern neural network training algorithms in terms of the order-chaos phase diagram. In particular, we study a fully analytical feedforward neural network trained on the widely adopted Fashion-MNIST dataset, and study the dynamics associated with the hyperparameters in back-propagation during the training process. We find that for the basic algorithm of stochastic gradient descent with momentum, in the range around the commonly used hyperparameter values, clear scaling relations are present with respect to the training time during the ordered phase in the phase diagram, and the model's optimal generalization power at the edge of chaos is similar across different training parameter combinations. In the chaotic phase, the same scaling no longer exists. The scaling allows us to choose the training parameters to achieve faster training without sacrificing performance. In addition, we find that the commonly used model regularization method - weight decay - effectively pushes the model towards the ordered phase to achieve better performance. Leveraging on this fact and the scaling relations in the other hyperparameters, we derived a principled guideline for hyperparameter determination, such that the model can achieve optimal performance by saturating it at the edge of chaos. Demonstrated on this simple neural network model and training algorithm, our work improves the understanding of neural network training dynamics, and can potentially be extended to guiding principles of more complex model architectures and algorithms.

연구 동기 및 목표

• 혼돈의 경계 원리가 현대 신경망 훈련에서 초기화 조정을 이끌 수 있는가를 조사하는 것.
• 확률적 경사 하강법과 모멘텀 같은 훈련 알고리즘이 시스템의 동역학적 단계(순서 있는 상태 대비 혼돈 상태)에 미치는 영향를 이해하는 것.
• 훈련 중 초깃값 조정의 척도 관계를 규명하여 성능 저하 없이 더 빠른 수렴을 가능하게 하는 것.
• 정규화 기법(예: 가중치 감소)이 시스템이 혼돈의 경계에 가까워지는 데 미치는 영향를 탐색하는 것.
• 최적의 일반화를 위해 모델을 혼돈의 경계에 정확히 정렬할 수 있는 원칙적인 지침을 도출하는 것.

제안 방법

• 연구는 패션-MNIST 데이터셋에 대해 훈련된 완전히 분석적인 단일 은닉층 피드포워드 신경망을 사용한다.
• 동역학적 평균장 이론(DMFT)을 사용하여 네트워크의 동역학적 안정성 분석을 통해 순서-혼돈 단계도를 구성한다.
• 가중치 갱신의 분산에서 유도된 조건 $ \frac{J^2}{N} \sum_i \text{sech}^4(\cdots) = 1 $를 통해 혼돈의 경계를 식별한다.
• 순서 있는 단계에서 초깃값 조정(학습률, 모멘텀, 가중치 감소)과 훈련 기간(에포크 수) 간의 척도 관계를 규명한다.
• 가중치 감소는 가중치 분산에 대한 음의 피드백으로 모델링되며, SGD 갱신 규칙의 반복적 대입을 통해 그 영향을 정량화한다.
• 이론적 예측은 테스트 입력을 교란하고 에포크 수에 따라 점점 가까워지는 거리 분포를 측정하여 수치적으로 검증된다.

실험 결과

연구 질문

• RQ1 모멘텀을 사용한 확률적 경사 하강법의 순서 있는 단계에서 초깃값 조정과 훈련 기간 간의 척도 관계가 존재하는가?
• RQ2 가중치 감소는 순서-혼돈 단계도에서 시스템의 위치에 어떤 영향을 미치는가?
• RQ3 정규화를 통해 혼돈의 경계를 체계적으로 도달할 수 있으며, 이는 최적의 일반화로 이어지는가?
• RQ4 네트워크의 점근적 행동은 입력 데이터에 독립적인 전역적 성질인가?
• RQ5 관찰된 척도 관계를 활용하여 성능 저하 없이 훈련을 가속화할 수 있는가?

주요 결과

• 순서 있는 단계에서 초깃값 조정과 훈련 기간 간에 명확한 척도 관계가 존재하여, 성능 손실 없이 더 빠른 훈련이 가능하다.
• 척도 영역 내에서 다양한 초깃값 조정 조합에 대해 모델의 일반화 성능가 거의 일정하게 유지되어 강건성을 보여준다.
• 혼돈 단계에서는 이러한 척도 관계가 붕괴되며, 순서 있는 단계가 최적의 훈련 영역임을 확인한다.
• 가중치 감소는 효과적으로 유효 가중치 분산을 감소시켜 모델을 순서 있는 단계로 이동시키며, 혼돈의 경계 근처에서의 위치 제어를 가능하게 한다.
• 이론적 분석에 따르면, 가중치 감소는 $ J^2 $ 를 $ 4\eta\lambda / (1 - \alpha) $ 의 인자로 감소시켜 혼돈의 경계에 정확히 도달할 수 있도록 조정할 수 있다.
• 최적화 단계에서의 $ J^2 $ 증가량과 가중치 감소에서의 감소량을 동일시함으로써, 혼돈의 경계에 모델을 포화시킬 수 있는 원칙적인 초깃값 조정 공식을 유도한다.