[논문 리뷰] Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks

Melih Barsbey, Milad Sefidgaran외 3명|arXiv (Cornell University)|2021. 06. 07.

Stochastic Gradient Optimization Techniques참고 문헌 55인용 수 12

한 줄 요약

이 논문은 확률적 경사하강법(SGD)에서의 무거운 尾 분포를 가진 가중치 분포와 과다매개변수화된 신경망의 압축 가능성 사이의 이론적 연결을 수립한다. 큰 학습률/배치크기 비율으로 인해 SGD가 중복된 무거운 꼬리 분포를 보이며, 과다매개변수화로 인해 분포의 분열 현상(chaos)이 발생할 경우, 네트워크는 모델 크기가 증가함에 따라 압축 오차가 사라지는 것을 증명한 ℓₚ-압축 가능성을 갖게 된다—이는 단순한 프루닝이 작동하는 이유와 압축 가능한 네트워크가 잘 일반화되는 이유를 통합적으로 설명한다.

ABSTRACT

Neural network compression techniques have become increasingly popular as they can drastically reduce the storage and computation requirements for very large networks. Recent empirical studies have illustrated that even simple pruning strategies can be surprisingly effective, and several theoretical studies have shown that compressible networks (in specific senses) should achieve a low generalization error. Yet, a theoretical characterization of the underlying cause that makes the networks amenable to such simple compression schemes is still missing. In this study, we address this fundamental question and reveal that the dynamics of the training algorithm has a key role in obtaining such compressible networks. Focusing our attention on stochastic gradient descent (SGD), our main contribution is to link compressibility to two recently established properties of SGD: (i) as the network size goes to infinity, the system can converge to a mean-field limit, where the network weights behave independently, (ii) for a large step-size/batch-size ratio, the SGD iterates can converge to a heavy-tailed stationary distribution. In the case where these two phenomena occur simultaneously, we prove that the networks are guaranteed to be '$\ell_p$-compressible', and the compression errors of different pruning techniques (magnitude, singular value, or node pruning) become arbitrarily small as the network size increases. We further prove generalization bounds adapted to our theoretical framework, which indeed confirm that the generalization error will be lower for more compressible networks. Our theory and numerical study on various neural networks show that large step-size/batch-size ratios introduce heavy-tails, which, in combination with overparametrization, result in compressibility.

연구 동기 및 목표

• 과다매개변수화된 신경망이 단순한 프루닝 전략에 얼마나 잘 적응하는지에 대한 기초 메커니즘을 규명하는 것.
• 압축 가능한 네트워크가 잘 일반화되는 이유를 설명하여, 과다매개변수화 모델에서 일반화에 대한 이론적 이해의 격차를 메우는 것.
• 딥 러닝 분야에서 최근 두 가지 현상—중복된 무거운 SGD 역학과 분포의 분열 현상—을 통합하여 압축 가능성에 대한 프레임워크를 제공하는 것.
• 큰 학습률/배치크기 비율이라는 특정 훈련 하이퍼파rameter 영역에서 ℓₚ-압축 가능성에 대한 이론적 보장을 제공하는 것.
• ℓₚ-압축 가능성 프레임워크에 맞춘 일반화 경계를 유도하여, 더 압축 가능한 네트워크일수록 일반화 성능이 향상됨을 이론적으로 확인하는 것.

제안 방법

• 과다매개변수화된 네트워크에서 SGD의 평균장 근사(limit)를 분석하여, 네트워크 크기가 증가함에 따라 가중치 벡터가 서로 독립적으로 행동함을 보여준다.
• 큰 학습률/배치크기 비율 조건에서 SGD 반복값이 중복된 꼬리 분포를 수렴하는 것을 증명한다.
• 분포의 분열(독립된 가중치)과 중복된 꼬리 분포를 결합하여, 완전히 연결된 네트워크의 ℓₚ-압축 가능성을 증명한다.
• 압축 감지 이론의 결과를 활용하여 크기, 특이값, 노드 프루닝 방법의 압축 오차를 근사한다.
• ℓₚ-압축 가능성 프레임워크에 맞춘 일반화 경계를 유도하여, 압축 가능성과 낮은 일반화 오차 사이의 관계를 연결한다.
• 고차원 구면에서의 농도 및 엔트로피 경계를 활용하여, 양자화된 가중치 구성 수를 제어하고 오차 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 왜 단순한 프루닝 전략이 과다매개변수화된 신경망에서 이렇게 효과적으로 작동하는가?
• RQ2 특히 중복된 꼬리 분포를 가진 SGD의 훈련 역학이 네트워크의 압축 가능성에 어떤 역할을 하는가?
• RQ3 과다매개변수화가 SGD 하이퍼파rameter와 어떻게 상호작용하여 압축 가능성을 가능하게 하는가?
• RQ4 특정 훈련 조건 하에서 ℓₚ-압축 가능성이 공식적으로 보장될 수 있는가?
• RQ5 압축 가능성은 향상된 일반화를 의미하는가? 그리고 이는 이론적으로 정량화될 수 있는가?

주요 결과

• 학습률/배치크기 비율이 클 경우, SGD는 중복된 꼬리 분포를 생성하며, 이는 압축 가능성의 핵심 요건이 된다.
• 과다매개변수화된 영역에서는 분포의 분열 현상이 네트워크 가중치가 상호 독립적으로 행동함을 보장하여 효과적인 프루닝을 가능하게 한다.
• 중복된 꼬리 분포와 분포의 분열 현상이 동시에 발생할 경우, 네트워크 크기가 증가함에 따라 ℓₚ-압축 가능성이 엄밀히 보장된다.
• 크기, 특이값, 노드 프루닝의 압축 오차는 압축 비율과 관계없이 모델 크기가 증가함에 따라 임의로 작아진다.
• 더 압축 가능한 네트워크일수록 일반화 오차가 낮으며, 이는 유도된 일반화 경계가 경험적 관찰과 일치함을 확인한다.
• 완전히 연결된 네트워크와 합성곱 네트워크에서의 수치 실험은 이론을 검증하며, 중복된 꼬리 역학과 압축 가능성 사이의 강력한 일치를 보여준다.