[논문 리뷰] Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|2021. 05. 03.

Stochastic Gradient Optimization Techniques참고 문헌 57인용 수 11

한 줄 요약

이 논문은 신경정규핵(NTK) 영역에서 과다파rameter화된 두층 ReLU 신경망에 대해 평균화된 확률적 경사하강법(ASGD)이 최소최대 최적 수렴 속도를 달성함을 입증한다. NTK에 의해 유도되는 재생핵 힐버트공간(RKHS)의 구조를 활용하여, 특정 조건 하에서 목표 함수가 부드러운 ReLU 네트워크를 통해 근사되는 경우에도 전역 수렴과 최적 속도를 증명한다.

ABSTRACT

We analyze the convergence of the averaged stochastic gradient descent for overparameterized two-layer neural networks for regression problems. It was recently found that a neural tangent kernel (NTK) plays an important role in showing the global convergence of gradient-based methods under the NTK regime, where the learning dynamics for overparameterized neural networks can be almost characterized by that for the associated reproducing kernel Hilbert space (RKHS). However, there is still room for a convergence rate analysis in the NTK regime. In this study, we show that the averaged stochastic gradient descent can achieve the minimax optimal convergence rate, with the global convergence guarantee, by exploiting the complexities of the target function and the RKHS associated with the NTK. Moreover, we show that the target function specified by the NTK of a ReLU network can be learned at the optimal convergence rate through a smooth approximation of a ReLU network under certain conditions.

연구 동기 및 목표

• NTK 영역에서 확률적 경사하강법의 수렴 속도 분석에 대한 격차를 메우기 위해.
• 과다파rameter화된 두층 신경망에서 평균화된 SGD의 전역 수렴과 최적 속도를 확립하기 위해.
• 목표 함수의 복잡도와 NTK에 의해 유도된 RKHS가 수렴 속도에 미치는 역할을 규명하기 위해.
• NTK 프레임워크 하에서 ReLU 네트워크의 부드러운 근사가 최적 수렴 속도를 유지할 수 있음을 보여주기 위해.

제안 방법

• 분석은 과다파라미터화된 네트워크의 학습 동역학이 선형화된 동역학으로 근사되는 NTK 영역 내에서 수행된다.
• 저자들은 NTK에 관련된 RKHS 노름을 이용해 목표 함수의 복잡도와 모델의 학습 능력을 측정한다.
• ASGD는 NTK 극한에서 ASGD와 티호노프 정규화 사이의 등가성에 기반하여 최소 RKHS 노름 해수렴에 도달함을 분석한다.
• 추정 오차를 목표 함수의 RKHS 노름과 NTK 커널의 고유값 감쇠율과 연결함으로써 수렴 속도를 유도한다.
• 비연속성 문제를 다루기 위해 ReLU 네트워크의 부드러운 근사를 도입하여 표준 NTK 수렴 도구의 적용을 가능하게 한다.
• 유도된 속도를 주어진 함수 클래스에 대한 이론적 하한과 비교함으로써 속도의 최소최대 최적성( minimax optimality )을 입증한다.

실험 결과

연구 질문

• RQ1 과다파라미터화된 두층 ReLU 네트워크에서 평균화된 확률적 경사하강법이 NTK 영역에서 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ2 RKHS 노름으로 측정된 목표 함수의 복잡도는 ASGD의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 NTK에 의해 유도된 RKHS는 과다파라미터화된 네트워크의 일반화 성능을 규명하는 데 어떤 역할을 하는가?
• RQ4 ReLU 네트워크의 부드러운 근사는 NTK 프레임워크 하에서 최적 수렴 속도를 유지할 수 있는가?
• RQ5 NTK 영역에서 ASGD의 수렴 속도는 최소최대 최적인가? 만약 그렇다면 어떤 조건 하에서인가?

주요 결과

• 평균화된 확률적 경사하강법은 NTK 영역에서 회귀 문제에 대해 최소최대 최적 수렴 속도를 달성하며, 주어진 함수 클래스에 대한 이론적 하한과 정확히 일치한다.
• 수렴 속도는 목표 함수의 RKHS 노름과 NTK 커널의 고유값 감쇠율에 따라 결정되며, 이는 학습 복잡도를 지배한다.
• ReLU 네트워크의 NTK에 의해 정의된 목표 함수는 네트워크가 부드럽게 근사될 경우 약한 조건 하에서도 최적 속도로 학습될 수 있다.
• 분석 결과, ASGD의 일반화 오차는 NTK에 의해 유도된 RKHS 내 목표 함수의 복잡도에 의해 제한됨을 확인한다.
• 유사한 가정 하에 어떤 알고리즘도 더 빠른 속도를 달성할 수 없음을 보여줌으로써 속도의 최소최대 최적성( minimax optimality )이 입증된다.
• 진짜 ReLU 네트워크가 부드러운 근사로 대체되어도 결과가 유지됨을 보여주며, 비연속 활성화 함수에 대한 강건성을 입증한다.