[논문 리뷰] Revisiting Loss Modelling for Unstructured Pruning

César Laurent, Camille Ballas외 3명|arXiv (Cornell University)|2020. 06. 22.

Advanced Neural Network Applications참고 문헌 36인용 수 6

한 줄 요약

이 논문은 비정형 신경망 프루닝을 위한 손실 모델링을 재검토하며, 손실 곡면의 선형 및 이차 테일러 근사값을 비교한다. 반복적 프루닝과 스텝 사이즈 정규화를 통해 국소성(locality)을 강제함으로써 성능 향상이 이루어지며, 손실 보존이 더 나은 피니팅된 정확도를 보장하지는 않는다는 점을 보여준다—즉, 효과적인 프루닝 기준으로 손실 변화를 최소화하는 것이 충분하다는 가정에 도전한다.

ABSTRACT

By removing parameters from deep neural networks, unstructured pruning methods aim at cutting down memory footprint and computational cost, while maintaining prediction accuracy. In order to tackle this otherwise intractable problem, many of these methods model the loss landscape using first or second order Taylor expansions to identify which parameters can be discarded. We revisit loss modelling for unstructured pruning: we show the importance of ensuring locality of the pruning steps. We systematically compare first and second order Taylor expansions and empirically show that both can reach similar levels of performance. Finally, we show that better preserving the original network function does not necessarily transfer to better performing networks after fine-tuning, suggesting that only considering the impact of pruning on the loss might not be a sufficient objective to design good pruning criteria.

연구 동기 및 목표

• 손실 모델링이 비정형 프루닝에서 수행하는 역할을 재평가하며, 특히 일阶 및 이阶 테일러 전개의 사용에 초점을 맞춘다.
• 프루닝 단계에서 국소성을 강제함으로써 프루닝 기준의 품질이 향상되는 방식을 조사한다.
• 프루닝 중에 학습 손실을 보존하는 것이 더 나은 피니팅된 모델 성능과 관련이 있는지 평가한다.
• 기울기 항을 포함한 이차 모델이 OBD/OBS가 요구하는 수렴 가정을 완화할 수 있는지 확인한다.
• 더 단순한 선형 모델이 더 복잡한 이차 모델에 비해 낮은 계산 비용으로도 유사한 성능을 달성할 수 있는지 평가한다.

제안 방법

• 수렴된 가중치 주변의 손실 함수에 대한 일阶(선형) 및 이阶(이차) 테일러 전개를 기반으로 프루닝 기준을 제안한다.
• OBD/OBS의 수렴 가정에 의존도를 줄이기 위해 기울기 항을 유지하는 수정된 이차 모델을 도입한다.
• 반복적 프루닝과 스텝 사이즈 정규화를 활용해 매개변수 공간에서 국소성을 강제함으로써 근사 정확도를 향상시킨다.
• 다양한 모델 간의 프루닝 성능을 비교한다: 크기 기반 프루닝(MP), OBD, OBS, 그리고 제안된 선형 및 이차 모델.
• 하이퍼파rameter 검색과 피니팅을 통해 일반화 성능을 평가하며, 피니팅 후 검증 오차 격차를 측정한다.
• 손실 보존과 피니팅된 성능 간의 관계를 평가하기 위해 스피어만의 순위 상관관계를 사용한다.

실험 결과

연구 질문

• RQ1 반복적 프루닝과 스텝 사이즈 정규화를 통해 국소성을 강제함으로써 손실 기반 프루닝 기준의 효과성이 향상되는가?
• RQ2 일阶 테일러 근사값(선형 모델)이 비정형 프루닝에서 이阶 근사값(이차 모델)과 유사한 성능을 달성할 수 있는가?
• RQ3 프루닝 중에 손실 변화를 최소화하는 것이 더 나은 피니팅된 모델 정확도와 상관이 있는가?
• RQ4 이차 모델의 기울기 항이 매 프루닝 단계 후 피니팅이 필요 없도록 하여 OBD/OBS의 수렴 가정을 완화할 수 있는가?
• RQ5 손실 함수를 보존하는 것이 효과적인 프루닝 기준을 설계하는 데 충분한 목표인가, 아니면 피니팅 동역학과 같은 다른 요소가 더 중요한가?

주요 결과

• 선형 및 이차 손실 모델은 학습 손실 보존에서 유사한 성능을 보이며, 선형 모델은 계산 비용이 낮다는 이점이 있다.
• 반복적 프루닝과 스텝 사이즈 정규화를 통해 국소성을 강제함으로써 프루닝 기준의 품질이 크게 향상된다.
• 기울기 항을 유지하는 수정된 이차 모델은 수렴 가정에 대한 의존도를 줄여, 피니팅 없이 직접 프루닝을 수행할 수 있게 한다.
• 프루닝 후 손실 변화의 크기와 피니팅 후 검증 오차 격차 사이에는 약한 상관관계가 있으며, 이는 손실 보존만으로는 좋은 성능을 보장하지 못한다는 것을 시사한다.
• 피니팅이 MP와 최적의 이차 모델 간의 초기 손실 차이를 빠르게 제거함으로써 최적화 동역학이 프루닝 후 성능을 지배한다는 점이 드러난다.
• 결과적으로 손실 변화를 최소화하는 것이 프루닝의 주요 목표라는 가정을 도전하며, 향후 기준은 피니팅 동역학을 고려해야 한다는 점을 시사한다.