[논문 리뷰] Refined Generalization Analysis of Gradient Descent for Over-parameterized Two-layer Neural Networks with Smooth Activations on Classification Problems.

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|2019. 05. 23.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 부드러운 활성화 함수를 가진 과도하게 파rameter화된 이중층 신경망에서 이진 분류 작업에 대해 경사 하강법의 개선된 일반화 분석을 제안한다. 신경미분핵 모델을 통한 완벽한 분류 가능성이라는 더 자연스러운 가정을 도입함으로써, 이전 연구에 비해 훨씬 더 나은 네트워크 폭 의존성과 함께 상당히 향상된 일반화 경계를 달성하며, 이는 증명 가능하게 일반화 가능한 과도하게 파rameter화된 네트워크의 범주를 확장한다.

ABSTRACT

Recently, several studies have proven the global convergence and generalization abilities of the gradient descent method for two-layer ReLU networks by making a positivity assumption of the Gram-matrix of the neural tangent kernel. However, the performance of gradient descent on classification problems has not been well studied, and further investigation of the problem structure is possible. In this work, we present a partially stronger but reasonable assumption for binary classification problems compared to the positivity assumption of the Gram-matrix, where a data distribution can be perfectly classifiable by a tangent model, and we provide a refined generalization analysis of the gradient descent method for two-layer networks with smooth activations. A remarkable point of this study is that our generalization bound has much better dependence on the network width compared to existing results. As a result, our theory significantly enlarges a class of over-parameterized networks having provable generalization ability, with respect to network width, while most studies require much higher over-parameterization.

연구 동기 및 목표

• 과도하게 파arameter화된 이중층 네트워크에서 분류 문제에 대한 경사 하강법의 일반화 성능에 대한 이론적 이해의 격차를 해소하기 위해.
• 신경미분핵 커널의 그람 행렬에 대한 제한적인 양성 가정을 더 자연스럽고 현실적인 이진 분류를 위한 가정으로 대체하기 위해.
• 기존 결과에 비해 네트워크 폭에 대한 의존성이 크게 향상된 일반화 경계를 유도하기 위해.
• 과도하게 파arameter화된 네트워크의 일반화 능력이 증명 가능한 범주를 줄어든 과도한 파arameter화 수준으로 줄여 확장하기 위해.

제안 방법

• 신경망의 탄성 모델이 데이터 분포를 완벽하게 분류할 수 있다는 새로운 가정을 도입하여, 이는 신경미분핵 커널의 그람 행렬 양성 가정보다 더 약하고 현실적인 조건이다.
• 이 새로운 가정 하에 부드러운 활성화 함수를 가진 이중층 네트워크에서의 경사 하강법 동역학을 분석한다.
• 통계학적 학습 이론 기법을 사용하여 일반화 경계를 유도하며, 네트워크 폭과 일반화 오차 간의 상호작용에 집중한다.
• 더 날카운 신경미분핵 커널 및 관련 탄성 모델 분석을 통해 더 강력한 일반화 보장을 확립한다.
• 일반화 오차가 이전 연구에 비해 훨씬 더 빠른 속도로 네트워크 폭에 따라 감소함을 보여준다.
• 활성화 함수의 부드러움을 활용하여 과도하게 파arameter화된 영역에서 경사 유량과 일반화 오차를 더 엄밀히 제어할 수 있다.

실험 결과

연구 질문

• RQ1 이진 분류를 위한 과도하게 파arameter화된 이중층 네트워크에서 일반화를 분석할 때, 그람 행렬 양성 가정보다 더 자연스러운 가정을 사용할 수 있는가?
• RQ2 실제 데이터 분리 가능성 가정 하에, 경사 하강법의 일반화 오차는 네트워크 폭과 어떻게 scaling 되는가?
• RQ3 기존 이론적 결과에 비해 일반화를 위한 필수 과도한 파arameter화 수준을 상당히 줄일 수 있는가?
• RQ4 부드러운 활성화 함수는 이 설정에서 경사 하강법의 일반화 성능에 어떤 영향을 미치는가?
• RQ5 탄성 모델이 데이터 분포를 완벽하게 분류할 수 있다는 능력이 더 강력한 일반화 보장을 이끌어내는가?

주요 결과

• 제안된 가정인 탄성 모델에 의한 완벽한 분류 가능성은 신경미분핵 커널의 그람 행렬에 대한 양성 가정보다 더 자연스럽고 더 약한 조건이다.
• 이 논문에서 도출된 일반화 경계는 기존 결과에 비해 네트워크 폭에 대한 의존성이 상당히 향상되어 있다.
• 이론적으로 이전에 알려진 바보다 더 넓은 범위의 과도하게 파arameter화된 이중층 네트워크에 대해 일반화를 증명할 수 있다.
• 기존 연구에서 자주 요구하던 매우 높은 폭 스케일에 비해 일반화를 위한 필수 과도한 파arameter화 수준이 상당히 감소되어 있다.
• 분석은 부드러운 활성화 함수에 적용 가능하여, ReLU 네트워크를 초월한 이론적 이해를 확장한다.
• 개선된 분석을 통해 실질적인 데이터 가정 하에 중간 정도의 과도한 파arameter화로도 경사 하강법이 좋은 일반화 성능을 달성함을 보여준다.