[논문 리뷰] Generalized Leverage Score Sampling for Neural Networks

Jason D. Lee, Ruoqi Shen외 3명|arXiv (Cornell University)|2020. 09. 21.

Stochastic Gradient Optimization Techniques참고 문헌 72인용 수 7

한 줄 요약

이 논문은 레버리지 스코어 샘플링을 커널 근사로 일반화하고 딥러닝에 적용하여, 정규화된 ReLU 신경망을 레버리지 스코어 초기화로 훈련할 경우 신경미분 커널 리지 회귀와 동치임을 보여준다. 이 방법은 초기화 분산을 최적화하여 근사 정확도를 확보하면서도 필요한 네트워크 폭을 줄인다.

ABSTRACT

Leverage score sampling is a powerful technique that originates from theoretical computer science, which can be used to speed up a large number of fundamental questions, e.g. linear regression, linear programming, semi-definite programming, cutting plane method, graph sparsification, maximum matching and max-flow. Recently, it has been shown that leverage score sampling helps to accelerate kernel methods [Avron, Kapralov, Musco, Musco, Velingker and Zandieh 17]. In this work, we generalize the results in [Avron, Kapralov, Musco, Musco, Velingker and Zandieh 17] to a broader class of kernels. We further bring the leverage score sampling into the field of deep learning theory. $\bullet$ We show the connection between the initialization for neural network training and approximating the neural tangent kernel with random features. $\bullet$ We prove the equivalence between regularized neural network and neural tangent kernel ridge regression under the initialization of both classical random Gaussian and leverage score sampling.

연구 동기 및 목표

• 이동 불변 커널을 초월하여 랜덤 특징을 통해 정의된 보다 광범위한 커널 클래스에 대해 레버리지 스코어 샘플링을 일반화하기 위해.
• 가우스 및 레버리지 스코어 초기화 하에서 정규화된 딥 뉴럴 네트워크 훈련과 신경미분 커널 리지 회귀 간의 이론적 동치성을 확립하기 위해.
• 레버리지 스코어를 통한 초기화 최적화를 통해 근사 정확도를 확보하기 위해 필요한 네트워크 폭을 줄이기 위해.
• 오버파ram터화된 딥 러닝에 정규화를 적용할 때 구조화된 초기화의 이론적 기반을 제공하기 위해.
• 다중층 ReLU 네트워크로의 동치성 확장을 다루고, CNN 및 SGD로의 잠재적 확장을 논의하기 위해.

제안 방법

• 레버리지 스코어 샘플링을 $\mathsf{K}(x,z) = \mathbb{E}_{w \sim p}[\phi(x,w)^\top \phi(z,w)]$ 형태의 커널에 일반화하며, 여기서 $\phi$ 는 유한 차원의 특징 맵이다.
• 레버리지 스코어 샘플링을 사용해 커널 행렬의 저랭크 근사를 구성함으로써 정확한 근사를 위해 필요한 랜덤 특징의 차원을 감소시킨다.
• 가우스 및 레버리지 스코어 초기화 하에서 정규화된 신경망의 경량 흐름 역학이 커널 리지 회귀의 것과 동치임을 증명한다.
• 레버리지 스코어 샘플링 하에서 신경미분 커널과 초기화의 변동성을 제한하여 커널 해로의 수렴을 보장한다.
• ReLU 네트워크의 조각별 선형성을 활용해 경량 흐름에서 정규화 항을 유도함으로써 커널 리지 회귀와의 동치성을 가능하게 한다.
• 너비를 층 수에 따라 스케일링함으로써 다중층 ReLU 네트워크로 분석을 확장하고, 적절한 초기화 하에서 동치성을 유지한다.

실험 결과

연구 질문

• RQ1 레버리지 스코어 샘플링은 이동 불변 커널을 초월하여 더 광범위한 커널 클래스로 일반화될 수 있는가?
• RQ2 레버리지 스코어 샘플링은 딥러닝에서 신경미분 커널을 근사하기 위해 필요한 표본 복잡도나 네트워크 폭 요구 조건을 향상시키는가?
• RQ3 레버리지 스코어 초기화를 사용할 경우 정규화된 신경망 훈련과 커널 리지 회귀 간에 동치성이 존재하는가?
• RQ4 수렴을 위해 필요한 네트워크 폭 측면에서 레버리지 스코어 샘플링은 표준 가우스 초기화보다 어떻게 다를까?
• RQ5 완전한 파rameter 훈련을 포함한 더 깊은 아키텍처로 신경망과 커널 방법 간의 동치성이 확장될 수 있는가?

주요 결과

• 논문은 가우스 및 레버리지 스코어 초기화 하에서 정규화된 ReLU 신경망 훈련과 신경미분 커널 리지 회귀 간의 이론적 동치성을 확립한다.
• 레버리지 스코어 샘플링은 초기화 편향 제어를 위한 필요 네트워크 폭을 줄여주며, 초기화 단계에서 표본 복잡도 향상 가능성을 시사한다.
• 수렴을 위한 너비 요구 조건은 가우스 초기화와 점점 동일해지지만, 레버리지 스코어 샘플링은 초기화 오차의 상한을 최적화한다.
• 너비를 층 수에 따라 스케일링할 경우 다중층 ReLU 네트워크에서도 동치성이 유지되며, 경량 흐름 역학이 보존된다.
• 정규화를 레버리지 스코어 샘플링에 통합함으로써 커널 근사에 필요한 랜덤 특징의 차원에 대한 더 날카운 상한을 제공한다.
• 미래 분석에서 훈련 단계의 너비 상한을 향상시킬 경우 레버리지 스코어 샘플링은 실용적으로 유익할 수 있으며, 이는 주로 훈련 단계의 주요 요소가 될 것이다.