[논문 리뷰] Pruning's Effect on Generalization Through the Lens of Training and Regularization

Tian Jin, Michael Carbin외 3명|arXiv (Cornell University)|2022. 10. 25.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 오랫동안 받아들여져 온 가설, 즉 프루닝이 일반화를 향상시키는 것은 모델 크기 감소 덕분이라는 것을 도전한다. 경험적 분석을 통해 프루닝의 일반화 향상 요인이 주로 연장된 훈련 시간과 추가적인 정규화 효과에서 비롯되며, 크기 감소에서 비롯되지 않는다는 것을 입증한다 — 특히 일반화가 더 잘 되는 더 큰 모델을 사용하는 과도하게 파rameter화된 모델에서는 더욱 그렇다.

ABSTRACT

Practitioners frequently observe that pruning improves model generalization. A long-standing hypothesis based on bias-variance trade-off attributes this generalization improvement to model size reduction. However, recent studies on over-parameterization characterize a new model size regime, in which larger models achieve better generalization. Pruning models in this over-parameterized regime leads to a contradiction -- while theory predicts that reducing model size harms generalization, pruning to a range of sparsities nonetheless improves it. Motivated by this contradiction, we re-examine pruning's effect on generalization empirically. We show that size reduction cannot fully account for the generalization-improving effect of standard pruning algorithms. Instead, we find that pruning leads to better training at specific sparsities, improving the training loss over the dense model. We find that pruning also leads to additional regularization at other sparsities, reducing the accuracy degradation due to noisy examples over the dense model. Pruning extends model training time and reduces model size. These two factors improve training and add regularization respectively. We empirically demonstrate that both factors are essential to fully explaining pruning's impact on generalization.

연구 동기 및 목표

• 과도하게 파arameter화된 영역에서 고전적인 편향-분산 이론과 모순되는 바에도 불구하고 프루닝이 일반화를 향상시키는 이유를 조사하기 위해.
• 현대 딥 러닝 모델에서 프루닝의 일반화 향상 요인이 모델 크기 감소만으로 설명될 수 있는지 테스트하기 위해.
• 프루닝에 의한 일반화 향상에서 훈련 기간과 정규화의 기여도를 분리하기 위해.
• 구조적 변화를 넘어서 재훈련과 가중치 제거가 모델 일반화에 미치는 역할을 평가하기 위해.
• 프루닝의 이점이 용량 감소 때문이 아니라 훈련 동역학과 정규화 효과 때문이라는 경험적 증거를 제공하기 위해.

제안 방법

• 모든 가중치를 유지하면서도 프루닝의 훈련 스케줄과 에포크 수를 재현한 '증강 훈련' 모델과 프루닝된 모델을 비교하였다.
• 주기적 학습률 스케줄과 연장된 훈련 기간을 사용하여 훈련 시간이 일반화에 미치는 영향을 분리하였다.
• EL2N 점수를 사용해 노이즈가 있는 예제에서의 훈련 손실 차이를 측정하여 정규화 효과를 평가하였다.
• 크기, SynFlow, 무작위와 같은 다양한 가중치 제거 히우리스틱을 사용해 프루닝이 일반화에 미치는 영향을 평가하였다.
• 희박한 모델이 올바르게 예측한 데이터 부분집합에서 훈련하여 희박한 모델과 밀도 높은 모델 간의 일반화 성능을 비교하였다.
• 노이즈 수준을 다양하게 변화시킨 상황에서 희박 모델과 밀도 높은 모델 간의 손실 차이를 분석하여 정규화 이점의 정량적 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 과도하게 파arameter화된 모델에서 모델 크기 감소가 프루닝의 일반화 향상에 완전히 기여하는가?
• RQ2 가중치 제거와 비교해 연장된 훈련 시간이 프루닝의 일반화 향상에 기여하는 정도는 어느 정도인가?
• RQ3 프루닝은 노이즈가 있는 예제에서 훈련 손실에 어떤 영향을 미치며, 이는 추가적인 정규화를 나타내는가?
• RQ4 동일한 스케줄과 기간으로 훈련된 밀도 높은 모델을 통해 프루닝의 일반화 향상 효과를 재현할 수 있는가?
• RQ5 다양한 가중치 선택 히우리스틱(예: 크기, SynFlow)은 프루닝에 의한 정규화와 일반화에 어떤 역할을 하는가?

주요 결과

• 프루닝의 일반화 향상 요인이 모델 크기 감소 때문이 아니며, 동일한 스케줄과 기간으로 훈련하지만 가중치 제거가 없는 모델도 유사한 테스트 정확도를 달성함으로써 입증되었다.
• 낮은 희박도 수준(예: 15% 남은 가중치)에서는 프루닝이 밀도 높은 모델보다 더 낮은 훈련 손실을 기록함으로써 훈련 중 최적화가 향상됨을 나타낸다.
• 높은 희박도 수준(예: 60% 남은 가중치)에서는 프루닝이 훈련 손실을 증가시키지만 영향력 있는 예제에서의 열화를 줄여 정규화가 향상됨을 나타낸다.
• 연장된 훈련 시간과 정규화 효과 — 특히 노이즈가 있는 예제에서의 정규화 — 가 프루닝의 대부분의 일반화 향상 요인을 설명한다.
• 가중치 제거를 비활성화한 상태에서도 프루닝과 동일한 주기적 학습률과 에포크 수로 훈련한 모델이 유사한 일반화 성능을 보이며, 이는 훈련 동역학이 핵심 요소임을 증명한다.
• 훈련 기간과 스케줄을 동일하게 유지할 경우 가중치 선택 히우리스틱(예: 크기, SynFlow)이 일반화 향상에 미치는 영향은 미미하며, 이는 효과가 아키텍처 크기와의 관계에서 분리됨을 더욱 강화한다.