[논문 리뷰] Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss

Lénaïc Chizat, Francis Bach|arXiv (Cornell University)|2020. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 90

한 줄 요약

이 논문은 지수 꼬리의 손실을 가진 무한히 넓은 두 계층 네트워크에 대한 그래디언트 흐름의 암시적 편향을 특징지으며, 비-힐베르트 공간에서 최대 마진 분류기로 수렴함을 보이고, 두 층 전체를 학습하는 것과 출력층만 학습하는 것을 비교하며 경험적 검증을 제시한다.

ABSTRACT

Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions. In presence of hidden low-dimensional structures, the resulting margin is independent of the ambiant dimension, which leads to strong generalization bounds. In contrast, training only the output layer implicitly solves a kernel support vector machine, which a priori does not enjoy such an adaptivity. Our analysis of training is non-quantitative in terms of running time but we prove computational guarantees in simplified settings by showing equivalences with online mirror descent. Finally, numerical experiments suggest that our analysis describes well the practical behavior of two-layer neural networks with ReLU activation and confirm the statistical benefits of this implicit bias.

연구 동기 및 목표

• 과잉 매개변수화된 신경망이 그래디언트 방법으로 학습될 때 왜 잘 일반화하는지 이해를 자극한다.
• 2-homogeneous 활성화를 가진 무한히 넓은 두 계층 네트워크에서의 그래디언트 흐름의 극한 거동을 특성화한다.
• 학습된 분류기가 variation-norm 공간에서의 최대 마진 해임을 보여준다.
• 두 층 전체를 학습하는 것과 출력층만 학습하는 것을 비교하고 일반화에 대한 시사점을 분석한다.
• ReLU 기반 두 계층 네트워크에 대한 이론적 발견을 뒷받침하는 수치적 증거를 제공한다.

제안 방법

• 예측기를 2-동형 활성화와 균형 구조를 가진 유한 폭의 두 계층 네트워크로 모델링한다.
• 측도 기반의 볼록 재구성을 사용하여 예측기를 variation norm 1 및 그 최대 마진 1()1 목표를 통해 설명한다.
• 무한 폭의 극한을 매개변수에 대한 확률 측정에 대한 Wasserstein 그래디언트 흐름으로 특성화한다.
• 적절한 가정 하에 학습 역학의 극한이 1-max-margin 문제의 최적 해를 산출함을 보인다.
• RKHS 프레임워크 2 와 대조하고 출력층만 학습하는 계산적 측면을 논의한다.
• 간소화된 동역학에서 수렴 속도와 온라인 미러 디센트 연결에 대해 논의한다.

실험 결과

연구 질문

• RQ1 지수 꼬리 손실에 대한 그라디언트 흐름이 variation-norm 함수 공간 1에서 전역 최대 마진 해로 수렴하는가?
• RQ2 암시적 편향 측면에서 두 층을 함께 학습하는 것과 출력층만 학습하는 것의 학습 동역학은 어떻게 달라지는가?
• RQ3 숨겨진 저차원 구조를 가진 네트워크에 대해 차원에 의존하지 않는 일반화가 확립될 수 있는가?
• RQ4 ReLU 활성화를 가진 넓은 두 계층 네트워크에 대한 수치 실험이 이론적 최대 마진 특성화와 일치하는가?

주요 결과

• 지수 꼬리 손실을 갖는 무한 폭 두 계층 네트워크의 그래디언트 흐름은 1 variation-norm 공간에서 최대 마진 분류기로 수렴한다.
• 숨겨진 저차원 구조가 있을 때 결과 마진은 주변 차원에 독립적이며 강한 일반화 보장을 가능하게 한다.
• 출력층만 학습하는 것은 암묵적으로 2 RKHS의 커널 SVM을 해결하는 것이며, 이는 1 마진만큼의 적응성을 가지지 못할 수 있다.
• 간소화된 설정에서 학습 동역학은 온라인 미러 상승과 동등하며 수렴 속도는 O(log t / sqrt t) 정도로 나타난다.
• 수치 실험은 이론이 두 계층 ReLU 네트워크의 실용적 동작을 설명하고 암시적 편향의 통계적 이점을 지지함을 시사한다.