[논문 리뷰] How Two-Layer Neural Networks Learn, One (Giant) Step at a Time

Yatin Dandi, Florent Krząkała외 3명|arXiv (Cornell University)|2023. 05. 29.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 배치 크기가 한 번의 경사 하강 단계에서 목표 함수의 어떤 방향을 학습할 수 있는지가 결정하는 바탕이 되는 두 층 신경망의 학습 메커니즘을 분석한다. 이는 '어려운' 방향(점프 인덱스 ℓ를 가진)을 학습하기 위해 $n = \mathcal{O}(d^\ell)$개의 샘플이 필요로 하며, $n = \mathcal{O}(d)$인 경우 여러 단계를 거쳐 계층적으로 다수의 방향을 학습할 수 있음을 보여주며, 이는 러닝 레지ime을 초월해 근사 능력과 일반화 성능을 크게 향상시킨다.

ABSTRACT

For high-dimensional Gaussian data, we investigate theoretically how the features of a two-layer neural network adapt to the structure of the target function through a few large batch gradient descent steps, leading to an improvement in the approximation capacity from initialization. First, we compare the influence of batch size to that of multiple steps. For a single step, a batch of size $n = \mathcal{O}(d)$ is both necessary and sufficient to align with the target function, although only a single direction can be learned. In contrast, $n = \mathcal{O}(d^2)$ is essential for neurons to specialize in multiple relevant directions of the target with a single gradient step. Even in this case, we show there might exist ``hard'' directions requiring $n = \mathcal{O}(d^\ell)$ samples to be learned, where $\ell$ is known as the leap index of the target. Second, we show that the picture drastically improves over multiple gradient steps: a batch size of $n = \mathcal{O}(d)$ is indeed sufficient to learn multiple target directions satisfying a staircase property, where more and more directions can be learned over time. Finally, we discuss how these directions allow for a drastic improvement in the approximation capacity and generalization error over the initialization, illustrating a separation of scale between the random features/lazy regime and the feature learning regime. Our technical analysis leverages a combination of techniques related to concentration, projection-based conditioning, and Gaussian equivalence, which we believe are of independent interest. By pinning down the conditions necessary for specialization and learning, our results highlight the intertwined role of the structure of the task to learn, the details of the algorithm, and the architecture, shedding new light on how neural networks adapt to the feature and learn complex task from data over time.

연구 동기 및 목표

• 두 층 신경망이 초기 학습 단계에서 저차원 목표 구조에 어떻게 적응하는지 이해하기 위해.
• 배치 크기, 네트워크 폭, 목표 복잡도에 따라 특징 학습을 위한 샘플 복잡도를 정량화하기 위해.
• 근사 능력과 일반화 성능 측면에서 러닝 레지임에서 특징 학습 레지임으로의 전이 과정을 명확히 하기 위해.
• 특히 고차원 설정에서 관련 방향을 효율적으로 학습할 수 있는 조건를 규명하기 위해.
• 헤르미트 분해와 농도 기법을 사용한 학습 동역학의 정밀한 이론적 특성화를 제공하기 위해.

제안 방법

• 목표 함수를 정규 수직 다항식 전개로 표현하기 위해 헤르미트 분해를 사용하며, 점프 인덱스 $\ell$는 첫 번째로 비영인 차수를 식별한다.
• 목표 함수의 텐서적 구조를 분해하고 관련 학습 방향을 식별하기 위해 고차원 특이값 분해(HOSVD)를 적용한다.
• 측도 집중과 투영 기반 조건화 기법을 활용하여 네트워크 뉴런과 목표 부분공간 간의 오버랩을 분석한다.
• 고차원 랜덤 초기화 하에서 경사 하강 동역학 분석을 단순화하기 위해 가우시안 등가 기법을 사용한다.
• 큰 배치 크기를 가진 경사 하강에 초점을 두며, 학습 과정을 거대한 단계들의 시퀀스로 모델링한다.
• 목표 함수의 점프 인덱스 $\ell$와 입력 차원 $d$, 배치 크기 $n$ 간의 상호작용을 바탕으로 샘플 복잡도 한계를 유도한다.

실험 결과

연구 질문

• RQ1 두 층 신경망이 구조적 목표 함수의 단일 관련 방향을 학습하기 위해 필요한 최소 배치 크기는 얼마인가?
• RQ2 목표 함수의 점프 인덱스 $\ell$가 어려운 방향을 학습하기 위한 샘플 복잡도에 어떤 영향을 미치는가?
• RQ3 한 번의 경사 하강 단계에서 다수의 관련 방향을 학습할 수 있는가? 만약 가능하면 어떤 배치 크기 조건에서 가능한가?
• RQ4 경사 하강 단계의 수가 네트워크가 점점 더 복잡한 목표 구조를 학습할 수 있는 능력에 어떤 영향을 미치는가?
• RQ5 특징 학습이 발생했을 때 러닝 레지임과 비교해 근사 능력과 일반화 오차에 어떤 개선이 이루어지는가?

주요 결과

• 한 번의 경사 하강 단계에서 목표 함수의 단일 관련 방향과 일치하기 위해 $n = \mathcal{O}(d)$의 배치 크기가 필수적이고 충분하다.
• 다수의 방향을 한 번의 단계에서 학습하기 위해서는 $n = \mathcal{O}(d^2)$가 필요하며, 점프 인덱스 $\ell$를 가진 '어려운' 방향을 학습하기 위해서는 $n = \mathcal{O}(d^\ell)$개의 샘플이 필요하다.
• 여러 경사 하강 단계와 $n = \mathcal{O}(d)$ 조건 하에서 네트워크는 계층적으로 다수의 목표 방향을 학습할 수 있으며, 계단식 성질을 만족한다.
• 특징 학습이 발생할 경우 초기화 상태에 비해 근사 능력이 크게 향상되며, 이는 러닝 레지임과의 명확한 분리로 이어진다.
• 큰 배치를 사용하더라도 다수의 단계를 거쳐 관련 방향을 학습할 경우 일반화 오차는 경계가 존재하며 크게 향상된다.
• 헤르미트 분해와 오버랩의 농도 기반 이론적 프레임워크는 특정 샘플 복잡도를 요구하지 않는 정밀하고 비점근적 한계를 제공한다.