[논문 리뷰] Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks

Xiangyu Chang, Yingcong Li외 2명|arXiv (Cornell University)|2020. 12. 16.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 모델 압축에서 과다 파rameter화의 이론적 분석을 제공하며, 최적의 특징이 사전에 알려져 있음에도 불구하고, 프루닝 이전에 큰 모델을 훈련시키는 것이 작은 모델을 처음부터 훈련시키는 것보다 더 우수한 일반화 성능을 보임을 보여준다. 프루닝된 모델에서 새로운 더블 디센트 곡선을 확립하고, 특징 간 상관관계가 있을 경우에만 재훈련이 유익함을 증명한다.

ABSTRACT

Deep networks are typically trained with many more parameters than the size of the training dataset. Recent empirical evidence indicates that the practice of overparameterization not only benefits training large models, but also assists - perhaps counterintuitively - building lightweight models. Specifically, it suggests that overparameterization benefits model pruning / sparsification. This paper sheds light on these empirical findings by theoretically characterizing the high-dimensional asymptotics of model pruning in the overparameterized regime. The theory presented addresses the following core question: "should one train a small model from the beginning, or first train a large model and then prune?". We analytically identify regimes in which, even if the location of the most informative features is known, we are better off fitting a large model and then pruning rather than simply training with the known informative features. This leads to a new double descent in the training of sparse models: growing the original model, while preserving the target sparsity, improves the test accuracy as one moves beyond the overparameterization threshold. Our analysis further reveals the benefit of retraining by relating it to feature correlations. We find that the above phenomena are already present in linear and random-features models. Our technical approach advances the toolset of high-dimensional analysis and precisely characterizes the asymptotic distribution of over-parameterized least-squares. The intuition gained by analytically studying simpler models is numerically verified on neural networks.

연구 동기 및 목표

• 프루닝 이전에 큰 모델을 훈련시키는 것이 모델 크기가 증가함에도 불구하고 일반화 성능을 향상시키는 이유를 이해하기 위해
• 이론적 분석을 통해 과다 파arameter화가 경량이고 희박한 모델을 구축하는 데 기여하는지 여부를 다루기 위해
• 특히 과다 파arameter화된 영역에서 고차원 점근적 조건에서 프루닝된 모델의 일반화 성능을 특성화하기 위해
• 프루닝 후 재훈련의 역할을 조사하기 위해, 특히 특징 상관관계가 그 효과에 어떻게 영향을 미치는지 다루기 위해
• 과다 파arameter화된 최소제곱 회귀의 분포적 특성(_distributional characterization_, DC)을 개발하여 프루닝 결과를 정확히 예측하기 위해

제안 방법

• 과다 파arameter화된 최소제곱 회귀 해의 분포적 특성(DC)을 도입하여, 프루닝 이후 테스트 오차를 정밀하게 예측할 수 있도록 한다.
• 선형 가우시안 등가성을 사용하여 선형 모델의 이론적 결과를 비선형 랜덤 특징 모델로 확장한다.
• 프루닝 및 재훈련된 모델의 가중치의 점근적 분포를 유도하여 훈련-프루닝-재훈련 파이프라인을 분석한다.
• 프루닝된 모델의 리스크를 희박성과 과다 파arameter화의 함수로 제시하며, 테스트 오차에서 더블 디센트 행동을 식별한다.
• 유도된 분포 모델을 사용하여 특징 상관관계가 재훈련 성능에 미치는 영향을 정량화한다.
• 랜덤 특징 모델과 CIFAR-10에서의 ResNet-20에 대해 광범위한 수치 시뮬레이션을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 최적의 희박한 구조가 사전에 알려져 있음에도 불구하고, 과다 파arameter화가 프루닝된 모델의 일반화 성능을 향상시키는가?
• RQ2 모델 폭이 과다 파arameter화 임계값을 초과할 때, 프루닝된 모델의 테스트 오차에서 더블 디센트 곡선이 나타나는가?
• RQ3 프루닝 후 재훈련이 유익한 조건은 무엇이며, 특징 상관관계는 그 효과에 어떻게 영향을 미치는가?
• RQ4 과다 파arameter화된 최소제곱 회귀 해의 분포는 프루닝 성능과 어떻게 관련되는가?
• RQ5 선형 모델에서 유도된 이론적 예측은 비선형 신경망에서의 프루닝 동역학을 정확히 기술할 수 있는가?

주요 결과

• 최적의 지원 집합이 알려져 있음에도 불구하고, 과다 파arameter화된 모델을 프루닝하는 것은 동일한 최적 특징을 가진 작은 모델을 처음부터 훈련시키는 것보다 낮은 테스트 오차를 달성할 수 있다.
• 프루닝된 모델의 테스트 오차에서 새로운 더블 디센트 행동이 나타난다: 과다 파arameter화 임계값을 초과할수록 모델 폭이 증가할수록 리스크가 감소한다.
• 특징이 상관관계가 없을 경우, 프루닝 후 재훈련의 고정 초과 리스크는 $ \sigma^2 / (n-2) $ 로, 프루닝 집합과 무관하게 일정하다.
• 프루닝에 의한 오차의 편향 항은 $ (1 - \zeta)^2 c^{\star 2} $ 로 정량화되며, 여기서 $ \zeta $ 는 프루닝 후 유지된 신호의 비율이다.
• 이론적 DC는 랜덤 특징 모델과 CIFAR-10에서의 ResNet-20에서 프루닝 성능을 정확히 예측하며, 깊은 네트워크로의 전이 가능성도 검증한다.
• 특징 상관관계는 재훈련의 효과를 결정한다: 상관관계가 높을 경우 재훈련이 필수적이지만, 특징이 상관관계가 없을 경우 성능을 떨어뜨릴 수 있다.