[논문 리뷰] Gradient Descent on Two-layer Nets: Margin Maximization and Simplicity Bias

Kaifeng Lyu, Zhiyuan Li외 2명|arXiv (Cornell University)|2021. 10. 26.

Machine Learning and ELM인용 수 7

한 줄 요약

이 논문은 두 층의 Leaky ReLU 네트워크에서 작은 초기화 조건 하에 경사 하강 흐름이 대칭적이고 선형으로 분리 가능한 데이터에 대해 네트워크의 폭에 관계없이 전역 최대 마진 선형 분류기로 수렴함을 증명한다. 또한 마진 최대화의 전역 최적성과 경사 하강법이 학습 초반에 선형 해법으로의 단순성 편향을 보이는 이유에 대한 이론적 근거를 제공하며, 간단한 데이터 변형에 의해 이러한 행동이 취약해질 수 있음을 보여준다.

ABSTRACT

The generalization mystery of overparametrized deep nets has motivated efforts to understand how gradient descent (GD) converges to low-loss solutions that generalize well. Real-life neural networks are initialized from small random values and trained with cross-entropy loss for classification (unlike the "lazy" or "NTK" regime of training where analysis was more successful), and a recent sequence of results (Lyu and Li, 2020; Chizat and Bach, 2020; Ji and Telgarsky, 2020) provide theoretical evidence that GD may converge to the "max-margin" solution with zero loss, which presumably generalizes well. However, the global optimality of margin is proved only in some settings where neural nets are infinitely or exponentially wide. The current paper is able to establish this global optimality for two-layer Leaky ReLU nets trained with gradient flow on linearly separable and symmetric data, regardless of the width. The analysis also gives some theoretical justification for recent empirical findings (Kalimeris et al., 2019) on the so-called simplicity bias of GD towards linear or other "simple" classes of solutions, especially early in training. On the pessimistic side, the paper suggests that such results are fragile. A simple data manipulation can make gradient flow converge to a linear classifier with suboptimal margin.

연구 동기 및 목표

• 작은 초기화 조건과 로지스틱 손실을 사용해 과다 매개변수화된 두 층의 ReLU 네트워크에서 경사 하강법의 암묵적 편향을 이해하는 것.
• 대칭적이고 선형으로 분리 가능한 데이터 하에서 두 층의 Leaky ReLU 네트워크에서 마진 최대화의 전역 최적성을 확립하는 것.
• 학습 초반에 관찰된 경사 하강법의 선형 해법으로의 단순성 편향에 대한 이론적 근거를 제공하는 것.
• 최대 마진 수렴이 간단한 데이터 변형에 대해 얼마나 강건한지 실험적으로 보여주는 것.

제안 방법

• 대칭적이고 선형으로 분리 가능한 데이터에서 작은 초기화 조건 하에 두 층의 Leaky ReLU 네트워크에서 경사 하강 흐름의 역학을 분석한다.
• 다단계 분석을 수행하며, 특히 마진 최대화 문제의 KKT 조건으로 수렴하는 후기 단계 분석을 포함한다.
• Grönwall의 부등식과 미분방정식 이론을 적용하여 수직 분리 가능한 데이터 하에서 궤적의 유일성을 증명함으로써 분기 없는 경로를 보장한다.
• 데이터의 대칭성(만약 x가 데이터셋에 포함되어 있으면 -x도 포함됨)을 활용하여, 전역 최대 마진 해가 반드시 선형이어야 함을 증명한다.
• 합성 데이터셋을 사용해 최대 마진 선형 분류기로의 수렴을 실험적으로 검증하고, SVM 성능과 비교한다.
• 평균장 이론과 커버링 추론을 활용하여 결과를 무한 넓이 영역을 초월해 확장한다.

실험 결과

연구 질문

• RQ1 대칭적이고 선형으로 분리 가능한 데이터에 대해 두 층의 Leaky ReLU 네트워크에서 경사 하강 흐름이 네트워크의 폭에 관계없이 전역 최대 마진 해로 수렴하는가?
• RQ2 왜 경사 하강법은 학습 초반에 선형 분류기로의 단순성 편향을 보이며, 이는 이론적으로 어떻게 설명될 수 있는가?
• RQ3 최대 마진 수렴은 데이터 흐름에 대해 강건한가, 아니면 간단한 변형에 의해 이 성질이 깨질 수 있는가?
• RQ4 학습 후기 단계에서 유도된 KKT 조건이 추가적인 구조적 가정 하에 전역 마진 최적성으로 이어질 수 있는가?

주요 결과

• 대칭적이고 선형으로 분리 가능한 데이터에 대해, 두 층의 Leaky ReLU 네트워크에서 전역 최대 마진 해는 네트워크의 폭에 관계없이 항상 선형이어야 한다.
• 작은 초기화 조건 하에서 두 층의 Leaky ReLU 네트워크에서 경사 하강 흐름은 대칭적 데이터 하에서 네트워크의 폭에 관계없이 전역 최대 마진 선형 분류기로 수렴한다.
• 최대 마진 해로의 수렴은 취약하다: 단순한 데이터 변형이 존재할 경우 경사 하강 흐름이 더 나쁜 마진을 가진 부분적인 선형 분류기로 수렴할 수 있다.
• 실험 결과에 따르면 두 층의 Leaky ReLU 네트워크는 다양한 데이터셋 크기(10~100개 포인트)에서 SVM 최대 마진 분류기와 거의 동일한 테스트 오차를 기록하며, 동일한 결정 경계로 수렴함을 확인했다.
• 수직 분리 가능한 데이터 하에서 궤적의 유일성을 증명함으로써 엄밀한 ODE 기반 수렴 분석이 가능해졌다.
• 이론적 결과는 NTK 영역을 초월하여, 작은 초기화 조건이 특징 학습과 전역 마진 최적성으로 이어짐을 보여주며, 이는 라이지 트레이닝 영역와는 다름을 밝혔다.