[논문 리뷰] Gradient Descent can Learn Less Over-parameterized Two-layer Neural Networks on Classification Problems

Atsushi Nitanda, Geoffrey Chinot외 1명|arXiv (Cornell University)|2019. 05. 23.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 22

한 줄 요약

이 논문은 이중층 ReLU 네트워크에서 이진 분류 문제에 대해 로지스틱 손실을 사용할 때, 덜 과다 매개변수화된 상황에서 경사하강법의 전역 수렴성과 일반화 보장을 확립한다. 신경 탄성 모델 프레임워크 내에서 분리 가능성 가정을 도입함으로써, 네트워크 폭에 대한 의존성이 크게 향상되어 이전의 신경 탄성 커널 양성 조건에 의존하는 연구들보다 훨씬 낮은 과다 매개변수화로도 일반화가 가능해졌다.

ABSTRACT

Recently, several studies have proven the global convergence and generalization abilities of the gradient descent method for two-layer ReLU networks. Most studies especially focused on the regression problems with the squared loss function, except for a few, and the importance of the positivity of the neural tangent kernel has been pointed out. On the other hand, the performance of gradient descent on classification problems using the logistic loss function has not been well studied, and further investigation of this problem structure is possible. In this work, we demonstrate that the separability assumption using a neural tangent model is more reasonable than the positivity condition of the neural tangent kernel and provide a refined convergence analysis of the gradient descent for two-layer networks with smooth activations. A remarkable point of our result is that our convergence and generalization bounds have much better dependence on the network width in comparison to related studies. Consequently, our theory provides a generalization guarantee for less over-parameterized two-layer networks, while most studies require much higher over-parameterization.

연구 동기 및 목표

• 분류 문제에 대해 덜 과다 매개변수화된 이중층 신경망에서 경사하강법의 이론적 이해 부족 문제를 다루기 위해.
• 신경 탄성 커널의 제한적인 양성 조건을 더 자연스럽고 약한 분리 가능성 가정으로 대체하기 위해.
• 네트워크 폭에 대한 더 나은 의존도를 가지며, 더 날카운 수렴성 및 일반화 경계를 제공하기 위해.
• 높은 과다 매개변수화가 필요 없이 전역 수렴성과 일반화가 달성될 수 있음을 보여주기 위해.
• 이진 분류 문제에서 로지스틱 손실을 최소화하는 경사하강법으로 훈련된 비과다 매개변수화된 이중층 네트워크에 대해 처음으로 일반화 보장을 확립하기 위해.

제안 방법

• 네트워크 출력에 대한 파라미터에 대한 기울기로부터 유도된 변환된 특징을 사용하는 신경 탄성 모델을 도입한다.
• 신경 탄성 모델이 유도하는 특징 공간에서 충분한 마진을 가진 분리 가능성 가정을 적용한다.
• 레데마처 복잡도와 대칭화 기법을 기반으로 한 개선된 일반화 경계를 활용해 경사하강법을 분석한다.
• 손실를 두 부분으로 분해함으로써 수렴성 및 일반화 경계를 유도한다: 마진이 큰 색인들에 대한 손실과 나머지에 대한 손실.
• 변수 변환과 유계성 가정을 통해 함수 클래스의 복잡도를 제어하고, 폭에 대한 의존도를 향상시킨다.
• 수축 주장과 레데마처 과정의 최댓값을 적용하여 일반화 오차를 경계짓고, $ O(1/ ext{width}^{1/2 - \beta}) $ 정도의 의존도를 달성한다.

실험 결과

연구 질문

• RQ1 이중층 ReLU 네트워크에서 분류 문제에 대해 덜 과다 매개변수화된 상황에서 경사하강법이 전역 수렴성과 일반화를 달성할 수 있는가?
• RQ2 신경 탄성 커널의 양성 조건이 수렴성에 필수적인가, 아니면 더 약한 가정으로도 충분한가?
• RQ3 신경 탄성 특징 공간에서의 분리 가능성 가정은 신경 탄성 커널의 양성 조건에 비해 이론적으로 어떤 의미를 갖는가?
• RQ4 더 약한 가정 하에서 네트워크 폭에 대한 의존도를 크게 향상시킬 수 있는가?
• RQ5 로지스틱 손실을 사용해 훈련하는 이중층 네트워크에서 경사하강법이 수렴하고 일반화하기 위해 필요한 최소 과다 매개변수화 수준은 무엇인가?

주요 결과

• 논문은 부드러운 활성화를 갖는 이중층 ReLU 네트워크에서 신경 탄성 특징 공간 내 분리 가능성 가정 하에 경사하강법의 전역 수렴성을 확립한다.
• 일반화 오차 경계는 $ O(1/ ext{width}^{1/2 - \beta}) $ 스케일을 가지며, 이는 이전 결과에서 요구한 $ O(1/ ext{width}) $ 의존도보다 훨씬 우수하다.
• 분리 가능성 가정은 신경 탄성 커널의 양성 조건보다 더 약한 조건임이 입증되었으며, 이는 전체 공간에서가 아니라 작은 코네이션에서만 양성을 유도하기 때문이다.
• 이론은 과다 매개변수화된 네트워크가 아니어도 일반화 보장을 제공함으로써, 이전의 신경 탄성 커널 양성 조건에 의존하는 연구들보다 요구하는 네트워크 폭을 줄였다.
• 분석은 로지스틱 손실을 사용해 훈련하는 이중층 네트워크에서 고도의 과다 매개변수화가 수렴성과 일반화를 위해 필수적이지 않음을 보여준다.
• 이 결과들은 이진 분류 문제에서 로지스틱 손실을 사용하는 이중층 네트워크에 대해 비과다 매개변수화된 상태에서 전역 수렴성과 일반화를 처음으로 확립한 것이다.