[논문 리뷰] Why is the State of Neural Network Pruning so Confusing? On the Fairness, Comparison Setup, and Trainability in Network Pruning

Huan Wang, Can Qin외 2명|arXiv (Cornell University)|2023. 01. 12.

Stochastic Gradient Optimization Techniques인용 수 14

한 줄 요약

이 논문은 프루닝 벤치마크가 왜 혼란스러운지 분석하기 위해 비교 구 setups의 공정성 및 간과된 학습 가능성의 역할을 조사합니다. 미세 조정 학습률이 보고된 이득의 대부분을 좌우한다는 것을 입증하며, 특정 공정한 벤치마크 하에서는 프루닝이 불필요할 수 있음을 보여줍니다.

ABSTRACT

The state of neural network pruning has been noticed to be unclear and even confusing for a while, largely due to "a lack of standardized benchmarks and metrics" [3]. To standardize benchmarks, first, we need to answer: what kind of comparison setup is considered fair? This basic yet crucial question has barely been clarified in the community, unfortunately. Meanwhile, we observe several papers have used (severely) sub-optimal hyper-parameters in pruning experiments, while the reason behind them is also elusive. These sub-optimal hyper-parameters further exacerbate the distorted benchmarks, rendering the state of neural network pruning even more obscure. Two mysteries in pruning represent such a confusing status: the performance-boosting effect of a larger finetuning learning rate, and the no-value argument of inheriting pretrained weights in filter pruning. In this work, we attempt to explain the confusing state of network pruning by demystifying the two mysteries. Specifically, (1) we first clarify the fairness principle in pruning experiments and summarize the widely-used comparison setups; (2) then we unveil the two pruning mysteries and point out the central role of network trainability, which has not been well recognized so far; (3) finally, we conclude the paper and give some concrete suggestions regarding how to calibrate the pruning benchmarks in the future. Code: https://github.com/mingsun-tse/why-the-state-of-pruning-so-confusing.

연구 동기 및 목표

• 신경망 프루닝 실험에서 공정한 비교가 무엇을 의미하는지 명확히 한다.
• 문헌에서 사용된 주요 프루닝 비교 구 setups를 조사하고 형식화한다.
• 두 가지 프루닝 ‘미스터리’(M1: 미세조정 LR 영향; M2: 프루닝의 가치)를 폭로하고 이를 네트워크 학습성(trainability)과 연결한다.
• 다른 벤치마크 하에서 관찰된 성능 차이가 학습성으로 설명될 수 있음을 강조한다.
• 향후 프루닝 벤치마크를 보정하고 표준화하기 위한 구체적 권고를 제시한다.

제안 방법

• 공정성 주도 프레임워크에 따라 프루닝 실험 설정을 검토하고 분류한다.
• 다양한 미세 조정 학습률 스케줄이 프루닝 성능에 미치는 영향을 체계적으로 분석한다.
• 엄격하게 제어된 설정(S4.2, SX-A, SX-B)을 포함하여 프루닝 대 스크래치 학습을 경험적으로 비교한다.
• ImageNet/ImageNet100에서 ResNet34/ResNet50을 사용하여 하이퍼파라미터, 특히 미세 조정 LR의 영향을 재현하고 정량화한다.
• 벤치마크 선택이 결론을 어떻게 바꾸는지 설명하기 위해 표 형식의 결과를 제시한다(예: L1-노름 프루닝 대 스크래치 학습).

실험 결과

연구 질문

• RQ1 신경망 프루닝 실험에서 공정한 비교 설정은 무엇인가?
• RQ2 다양한 미세 조정 학습률 스케줄이 프루닝 방법의 인지된 효과에 어떤 영향을 미치는가?
• RQ3 필터 프루닝에서 사전 학습 가중치를 상속하는 것이 공정 재훈련 비용을 고려할 때 실질적인 가치를 제공하는가?
• RQ4 다양한 벤치마크 설정(S2, S3.x, S4.x, SX)이 프루닝 방법과 스크래치 학습에 대한 결론에 어떤 영향을 미치는가?

주요 결과

• 더 큰 미세 조정 학습률 스케줄은 프루닝 성능을 크게 높일 수 있으며, 동일한 재훈련 구성에서 더 정교한 프루닝 방법과 맞먹거나 능가할 수 있다(M1).
• 프루닝의 가치에 대한 인식(M2)은 비교 설정에 따라 다르며, 더 큰 미세 조정 LR을 허용하는 엄격한 공정한 설정 하에서 무가치 주장(프루닝의 가치 없음)은 약화되거나 사라진다.
• 네트워크 학습성은 프루닝 결과에 중심적인 역할을 하며, 학습성이 properly 구성된 경우 간단한 L1-노름 프루닝이 현대 방법과 맞먹을 수 있음을 설명한다.
• 벤치마크의 비일관된 관행(기본 모델, 미세 조정 에폭 수, LR 스케줄 등)이 혼란을 야기하고 진전을 저해한다.
• 엄격한 공정성 원칙(S4.2, SX-A, SX-B)은 미세 조정 및 프루닝 비용을 통제함으로써 더 신뢰할 수 있는 비교를 제공한다.