[논문 리뷰] The Generalization-Stability Tradeoff In Neural Network Pruning

Brian R. Bartoldson, Ari S. Morcos외 2명|arXiv (Cornell University)|2019. 06. 09.

Neural Networks and Applications참고 문헌 67인용 수 30

한 줄 요약

이 논문은 신경망 프루닝에서 일반화-안정성 간 상충 관계를 규명한다: 프루닝 직후 테스트 정확도가 크게 떨어지는 낮은 프루닝 안정성은 더 나은 일반화로 이어진다. 저자들은 프루닝이 일시적인 노이즈 주입과 유사하게 작용하며, 영구적인 파rameter 제거와는 별개로 모델의 평탄도를 높여 일반화를 향상시킨다고 보여주며, 과다 매개변수화된 네트워크에서 프루닝이 왜 일반화를 향상시킬 수 있는지에 대한 역설을 해결한다.

ABSTRACT

Pruning neural network parameters is often viewed as a means to compress models, but pruning has also been motivated by the desire to prevent overfitting. This motivation is particularly relevant given the perhaps surprising observation that a wide variety of pruning approaches increase test accuracy despite sometimes massive reductions in parameter counts. To better understand this phenomenon, we analyze the behavior of pruning over the course of training, finding that pruning's benefit to generalization increases with pruning's instability (defined as the drop in test accuracy immediately following pruning). We demonstrate that this "generalization-stability tradeoff" is present across a wide variety of pruning settings and propose a mechanism for its cause: pruning regularizes similarly to noise injection. Supporting this, we find less pruning stability leads to more model flatness and the benefits of pruning do not depend on permanent parameter removal. These results explain the compatibility of pruning-based generalization improvements and the high generalization recently observed in overparameterized networks.

연구 동기 및 목표

• 과다 매개변수화된 네트워크에서 높은 일반화 성능를 보이는 것과 프루닝이 이를 추가로 향상시킬 수 있다는 명백한 모순을 해결하기 위해.
• 프루닝의 일반화 성능 향상 기여 요인이 매개변수 수 감소인지, 아니면 정규화 효과인지 조사하기 위해.
• 프루닝의 불안정성이 모델 평탄도와 일반화 성능에 미치는 영향을 분석하기 위해.
• 프루닝으로 인한 일반화 성능 향상이 프루닝된 가중치를 복원한 후에도 유지되는지 테스트하여 영구적인 매개변수 제거가 필수적이라는 가정을 도전하기 위해.

제안 방법

• 저자들은 프루닝 안정성을 프루닝 단계 직후 테스트 정확도의 상대적 감소로 정의한다: 안정성 = (t_pre - t_post) / t_pre.
• 프루닝의 강도, 시기, 임계값 등의 하이퍼파라미터를 변화시켜 다양한 수준의 안정성과 일반화 성능를 생성한다.
• 헤시안 기반 측정법과 편향 분석을 사용하여 프루닝 안정성과 모델 평탄도 간 상관관계를 분석한다.
• CIFAR-10과 CIFAR-100에서 테스트 정확도를 사용해 안정적 프루닝과 불안정적 프루닝을 사용한 모델 간 일반화 성능를 평가한다.
• 학습 후 프루닝된 가중치를 재활성화하는 아블레이션 실험을 수행하여 영구적인 매개변수 제거의 필요성을 테스트한다.
• 일반화 갭을 추정하기 위해 헤시안과 곡률 행렬의 트레이스를 기반으로 한 타케우치 정보 기준(TIC)의 Proxy를 사용한다.

실험 결과

연구 질문

• RQ1 프루닝이 매개변수 수 감소가 아니라 정규화 효과 덕분에 일반화 성능을 향상시키는가?
• RQ2 프루닝 안정성과 모델 일반화 성능 사이에 상충 관계가 존재하는가?
• RQ3 프루닝 후 가중치를 복원하더라도 프루닝으로 인한 일반화 성능 향상이 유지되는가?
• RQ4 프루닝이 모델 평탄도를 어느 정도 향상시키며, 이는 일반화 성능 향상과 관련이 있는가?
• RQ5 다양한 데이터셋과 아키텍처에서 프루닝 불안정성은 평탄도 측정법과 일반화 성능와 어떻게 상관관계가 있는가?

주요 결과

• 낮은 프루닝 안정성은 높은 일반화 성능와 강하게 상관되며, Prune L은 낮은 안정성에도 불구하고 CIFAR-100에서 73.41%의 테스트 정확도를 기록하여 Prune S의 73.22%보다 높다.
• 이 일반화-안정성 상충 관계는 CIFAR-100을 포함한 여러 데이터셋에서 성립하며, 작은 데이터셋에 기인한 결과가 아님을 시사한다.
• 학습 후 프루닝된 가중치를 복원하더라도 일반화 성능 향상이 유지되며, 영구적인 매개변수 제거가 일반화 향상에 필수적이지 않음을 입증한다.
• 프루닝 불안정성은 헤시안 고유벡터 편향 및 가중치 편향에 따른 손실 증가 측정을 통해 평탄도와 음의 상관관계를 보인다.
• Tr(C)/Tr(H) 기반 TIC Proxy는 일반화 성능를 예측하며, 낮은 안정성이 더 나은 일반화를 이끌어낸다는 점을 확인한다.
• 결과는 프루닝이 노이즈 주입과 유사한 정규화 효과를 가지며, 불안정성이 표현 수준의 노이즈를 유도해 더 평탄한 최소값을 유도함을 지지한다.