[논문 리뷰] The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks

Wei Hu, Lechao Xiao외 2명|arXiv (Cornell University)|2020. 06. 25.

Stochastic Gradient Optimization Techniques참고 문헌 54인용 수 13

한 줄 요약

이 논문은 네트워크의 넓이와 입력 분포에 대한 약한 가정 하에, 두 층으로 이루어진 완전 연결 신경망의 초기 학습 동역학이 입력 데이터 위에 간단한 선형 모델을 훈련시켜 정확히 모방할 수 있음을 보여준다. 핵심 결과는 초기화 시 네트워크의 신경 기울기 커널(NTK)이 선형 모델의 커널에 가까이 근사됨을 보여주는 스펙트럴 노름 한계를 제시하는 것으로, 이는 비선형 능력을 지닌 네트워크임에도 불구하고 초기 학습 단계에서 놀랄 만큼 단순한 구조를 띤다는 놀라운 통찰을 드러낸다.

ABSTRACT

Modern neural networks are often regarded as complex black-box functions whose behavior is difficult to understand owing to their nonlinear dependence on the data and the nonconvexity in their loss landscapes. In this work, we show that these common perceptions can be completely false in the early phase of learning. In particular, we formally prove that, for a class of well-behaved input distributions, the early-time learning dynamics of a two-layer fully-connected neural network can be mimicked by training a simple linear model on the inputs. We additionally argue that this surprising simplicity can persist in networks with more layers and with convolutional architecture, which we verify empirically. Key to our analysis is to bound the spectral norm of the difference between the Neural Tangent Kernel (NTK) at initialization and an affine transform of the data kernel; however, unlike many previous results utilizing the NTK, we do not require the network to have disproportionately large width, and the network is allowed to escape the kernel regime later in training.

연구 동기 및 목표

• 높은 용량과 비볼록 최적화 경로를 지닌 현대 딥 뉴럴 네트워크가 왜 잘 일반화되는지 이해하기 위해.
• 신경망이 복잡한 함수를 학습하는 데 있어 늦은 시점에만 이루어지는지, 아니면 초기에 간단한 선형 함수를 먼저 학습하는지 조사하기 위해.
• 두 층으로 이루어진 완전 연결 네트워크의 초기 학습 동역학이 잘 조건화된 입력 분포 하에서 선형 모델과 정확히 동일함을 공식적으로 증명하기 위해.
• 완전 연결 네트워크를 넘어 더 깊은 구조와 컨볼루션 아키텍처로 이 통찰을 이론적으로도 실증적으로도 확장하기 위해.

제안 방법

• 저자들은 초기화 시 두 층의 ReLU 네트워크의 신경 기울기 커널(NTK)과 데이터 커널의 애핀 변환 간의 차이의 스펙트럴 노름을 한정한다.
• 확률적 가중치 초기화 하에서 NTK가 선형 모델 커널에서 벗어나는 정도를 제어하기 위해 농도 불등식과 헤프딩 부등식을 사용한다.
• 학습 동역학의 등가성을 확립하기 위해 프로베니우스 노름이 아닌 스펙트럴 노름을 활용하는 것이 핵심이다.
• 이 방법은 어떤 일반적인 활성화 함수에도 적용 가능하며 초광역 넓이 또는 커널 영역에 제한되지 않는다.
• 이론적 분석과 실증적 검증을 더 깊은 네트워크와 컨볼루션 아키텍처(CNNs)로 확장하여, 초기 학습 단계에서 선형 행동이 지속됨을 보였다.
• CNN의 경우, 첫 번째 및 두 번째 레이어의 NTK를 유도하고 유사한 농도 기법을 사용하여 선형 커널에서의 편차를 한정하였다.

실험 결과

연구 질문

• RQ1 두 층의 완전 연결 신경망의 초기 학습 동역학은 입력 데이터 위에 선형 모델을 훈련시켜 정확히 모방할 수 있는가?
• RQ2 깊이가 더 깊거나 컨볼루션 아키텍처일 경우, 초기 학습의 단순성은 여전히 유지되는가?
• RQ3 스펙트럴 노름은 NTK와 선형 모델 커널 간의 유사성을 특성화하는 데 어떤 역할을 하는가?
• RQ4 네트워크의 넓이가 초기 학습에서 선형 근사의 타당성에 어떤 영향을 미치는가?
• RQ5 네트워크가 결국 커널 영역을 벗어나더라도 선형 근사는 여전히 성립할 수 있는가?

주요 결과

• 두 층의 ReLU 네트워크의 NTK와 선형 모델 커널 간 차이의 스펙트럴 노름은 $ O(n / d^{1+α}) $ 이하로 한정되며, 이는 초기 학습 동역학이 선형 모델에 의해 잘 근사됨을 의미한다.
• 컨볼루션 네트워크의 경우, 첫 번째 및 두 번째 레이어의 NTK는 스펙트럴 노름 기준으로 선형 커널에서 $ O(n / d^{1+α}) $ 이하로 벗어나며, 이는 동일한 근사가 성립함을 확인한다.
• 선형 근사는 약한 넓이 요구 조건 하에서도 성립하며, 네트워크가 전체 학습 기간 동안 커널 영역에 머물러 있어야 한다는 조건이 필요하지 않다.
• 실증 결과는 실세계 데이터셋에서 더 깊은 네트워크와 컨볼루션 아키텍처에서도 선형 학습 행동이 지속됨을 확인한다.
• 분석 결과는 신경망이 비선형 능력을 완전히 활용하는 것은 학습의 후반부에 이르러야 하며, 이는 초기 단계의 선형 학습 가설을 지지한다.
• 이 결과는 ReLU를 포함한 어떤 일반적인 활성화 함수에도 적용되며, 유리한 농도 성질을 지닌 입력 분포에 대해 강건하다.