[논문 리뷰] Revisiting Random Channel Pruning for Neural Network Compression

Yawei Li, Kamil Adamczewski외 4명|arXiv (Cornell University)|2022. 05. 11.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 신경망 압축을 위한 단순하고 효과적인 베이스라인으로 랜덤 채널 프루닝을 재검토하며, 채널 구성에 대한 무작위 탐색이 종종 복잡한 프루닝 방법보다 우수하거나 유사한 성능을 보임을 시현한다. 놀랍게도 L1/L2 노름 기준은 고도로 발전된 중요도 메트릭보다도 유사한 성능을 보이며, 사전 훈련된 가중치 없이도 랜덤 프루닝이 거의 최적의 성능을 달성함을 보여주어 벤치마킹 시 표준화된 미세조정 프rotocol의 필요성을 강조한다.

ABSTRACT

Channel (or 3D filter) pruning serves as an effective way to accelerate the inference of neural networks. There has been a flurry of algorithms that try to solve this practical problem, each being claimed effective in some ways. Yet, a benchmark to compare those algorithms directly is lacking, mainly due to the complexity of the algorithms and some custom settings such as the particular network configuration or training procedure. A fair benchmark is important for the further development of channel pruning. Meanwhile, recent investigations reveal that the channel configurations discovered by pruning algorithms are at least as important as the pre-trained weights. This gives channel pruning a new role, namely searching the optimal channel configuration. In this paper, we try to determine the channel configuration of the pruned models by random search. The proposed approach provides a new way to compare different methods, namely how well they behave compared with random pruning. We show that this simple strategy works quite well compared with other channel pruning methods. We also show that under this setting, there are surprisingly no clear winners among different channel importance evaluation methods, which then may tilt the research efforts into advanced channel configuration searching methods.

연구 동기 및 목표

• 고도로 발전된 프루닝 방법과 비교하기 위한 기준으로서 랜덤 채널 프루닝의 효과성을 평가하기 위해.
• 채널 구성에 대한 무작위 탐색이 최첨단 프루닝 알고리즘을 능가하거나 유사한 성능을 낼 수 있는지 조사하기 위해.
• 미세조정 에포크 수와 프루닝 기준이 프루닝된 모델의 성능에 미치는 영향을 평가하기 위해.
• 효과적인 프루닝을 위해 고도로 복잡한 중요도 메트릭이 반드시 필요하다는 가정을 도전하기 위해.
• 향후 채널 프루닝 방법의 벤치마킹에서 표준화된 미세조정 프로토콜을 권장하기 위해.

제안 방법

• 각 레이어의 채널 수를 독립적으로 선택하여 아키텍처 공간에서의 탐색으로 간주하고, 랜덤하게 하위 네트워크의 집단을 샘플링함.
• 사전 훈련된 모델의 경우, 다양한 채널 중요도 기준(예: L1, L2, SNIP, Grad-CAM)을 사용해 랜덤 프루닝을 적용하고 검증 세트에서 성능을 평가함.
• 사전 훈련 없이 프루닝하는 경우, 무작위 초기화된 네트워크를 훈련하고 아키텍처를 재구성하여 엔드 투 엔드 훈련 및 프루닝을 허용함.
• 랜덤 탐색 중 평가 비용을 줄이기 위해 검증 세트의 축소된 부분집합(예: 5,000개 샘플)을 사용함.
• 공정한 비교를 위해 메서드 간에 표준화된 미세조정 에포크 수를 적용하며, 그 강력한 영향력을 강조함.
• 일致한 설정 하에 CIFAR-10, ImageNet 등의 데이터셋과 ResNet-18, ResNet-50 등의 네트워크 아키텍처에서 결과를 비교함.

실험 결과

연구 질문

• RQ1 공정한 비교 조건 하에서 랜덤 채널 프루닝이 최첨단 프루닝 알고리즘을 능가하거나 유사한 성능을 낼 수 있는가?
• RQ2 동일한 랜덤 프루닝 제도 하에서 다양한 채널 중요도 기준(예: L1, L2, SNIP) 간의 성능 비교는 어떻게 되는가?
• RQ3 미세조정 에포크 수가 프루닝된 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 사전 훈련된 모델 프루닝과 비교해 랜덤 프루닝으로부터 시작하는 것이 성능 면에서 유사한 결과를 낼 수 있는가?
• RQ5 MetaPruning이나 HRank와 같은 고급 아키텍처 탐색 방법과 비교해 랜덤 프루닝은 어떻게 성능을 냈는가?

주요 결과

• CIFAR-10에서, 랜덤 프루닝은 비교된 모든 프루닝 방법보다 열 劣하지 않으며, 더 쉬운 벤치마크의 강력한 기준이 될 수 있음을 시사한다.
• ImageNet에서, 더 적은 미세조정 에포크 수와 더 높은 프루닝 비율 조건 하에서, SFP, GAL, SSS와 같은 이전 방법들보다 랜덤 프루닝이 더 우수한 성능을 보였다.
• 더 큰 나머지 모델과 더 적은 미세조정 에포크 수를 사용함에도 불구하고, HRank와 유사한 성능을 달성함으로써 강력한 일반화 능력을 보였다.
• 더 긴 미세조정과 아키텍처 수정을 거쳐도, MetaPruning는 랜덤 프루닝보다 근소하게 높은 성능 뿐만 아니라, 복잡한 방법의 수익 감소 경향을 보여주며 성능 향상의 한계를 시사한다.
• 프루닝된 모델의 성능은 미세조정 에포크 수에 매우 민감하다: ResNet-50에서 25에서 100으로 에포크 수를 늘일 경우 Top-1 오차가 0.75% 감소한다.
• 무작위 샘플 수를 20에서 1,000으로 늘일 경우의 성능 향상은 단조롭게 감소하며, 포화 없이 수익 감소 경향을 보이며, 더 효율적인 탐색 전략의 필요성을 제기한다.