[논문 리뷰] Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks

Yang He, Xuanyi Dong외 4명|arXiv (Cornell University)|2018. 08. 22.

Advanced Neural Network Applications참고 문헌 63인용 수 7

한 줄 요약

이 논문은 재학습 중에 정규화된 필터를 업데이트하면서 에포크 수에 따라 점차적으로 프루닝을 증가시키는 동적 필터 프루닝 방법인 점점 가소성 필터 프루닝(ASFP)을 제안한다. 모델 용량을 유지하고 안정적인 점진적 정보 집중을 가능하게 함으로써, ResNet-50에서 FLOPs를 40% 이상 감소시키면서도 상위 5개 정확도가 0.14% 감소에 그치며, 이는 이전의 소프트 프루닝 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Deeper and wider Convolutional Neural Networks (CNNs) achieve superior performance but bring expensive computation cost. Accelerating such over-parameterized neural network has received increased attention. A typical pruning algorithm is a three-stage pipeline, i.e., training, pruning, and retraining. Prevailing approaches fix the pruned filters to zero during retraining, and thus significantly reduce the optimization space. Besides, they directly prune a large number of filters at first, which would cause unrecoverable information loss. To solve these problems, we propose an Asymptotic Soft Filter Pruning (ASFP) method to accelerate the inference procedure of the deep neural networks. First, we update the pruned filters during the retraining stage. As a result, the optimization space of the pruned model would not be reduced but be the same as that of the original model. In this way, the model has enough capacity to learn from the training data. Second, we prune the network asymptotically. We prune few filters at first and asymptotically prune more filters during the training procedure. With asymptotic pruning, the information of the training set would be gradually concentrated in the remaining filters, so the subsequent training and pruning process would be stable. Experiments show the effectiveness of our ASFP on image classification benchmarks. Notably, on ILSVRC-2012, our ASFP reduces more than 40% FLOPs on ResNet-50 with only 0.14% top-5 accuracy degradation, which is higher than the soft filter pruning (SFP) by 8%.

연구 동기 및 목표

• 하드 필터 프루닝으로 인한 성능 저하를 해결하기 위해, 필터를 영구적으로 제거하고 모델 용량을 감소시키는 문제를 해결한다.
• 한 번에 많은 필터를 프루닝할 경우 발생하는 복구 불가능한 정보 손실을 완화한다.
• 재학습 중에 프루닝된 필터를 업데이트할 수 있도록 함으로써 모델 최적화의 안정성과 정확도를 향상시킨다.
• 훈련 과정에서 점차적으로 프루닝 비율을 증가시키는 전략을 개발하여 급격한 정보 손실을 최소화한다.
• 사전 훈련 없이도 높은 압축률을 달성하면서 정확도 손실를 최소화하는 것을 목표로 한다.

제안 방법

• 프루닝은 매 에포크 종료 시점에 반복적으로 수행되며, 처음에는 ℓ₂-노름이 가장 작은 필터부터 시작한다.
• 프루닝된 필터는 0으로 고정되지 않고 재학습 중에 업데이트되며, 전체 최적화 공간을 유지한다.
• 훈련 과정에서 프루닝 비율은 점점 증가하는 방식으로 점점 가소성으로 증가한다.
• 필터 중요도 기준으로 ℓ₂-노름을 사용하며, 큰 가중치를 가진 필터를 선호하고 분류 기능을 유지한다.
• 세 단계 파이프라인을 적용한다: 훈련, 재학습과 함께 반복적인 소프트 프루닝, 최종 프루닝(업데이트 없음).
• ImageNet 및 CIFAR-10 벤치마크를 사용하여 ResNet-50과 ResNet-110에서 평가한다.

실험 결과

연구 질문

• RQ1 재학습 중에 프루닝된 필터를 업데이트할 수 있는 소프트 프루닝은 하드 프루닝보다 더 높은 모델 용량을 유지하고 정확도를 향상시킬 수 있는가?
• RQ2 점차적으로 프루닝된 필터 수를 늘리는 점점 가소성 프루닝 방식은 더 안정적인 훈련과 향상된 성능을 이끌어낼 수 있는가?
• RQ3 필터 선택 기준(ℓ₁ 대비 ℓ₂-노름)의 선택이 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ4 ASFP는 사전 훈련 없이도 경쟁 가능한 성능을 달성할 수 있으며, 기존의 소프트 프루닝 방법과 비교해 어떻게 성능을 내는가?
• RQ5 ASFP 성능은 하이퍼파rameter인 ASFP 간격과 프루닝 스케줄링 파라미터 D에 얼마나 민감한가?

주요 결과

• ILSVRC-2012에서 ASFP는 ResNet-50에서 FLOPs를 40% 이상 감소시키며 상위 5개 정확도가 0.14% 감소에 그치며, 소프트 필터 프루닝(SFP)보다 8% 높은 성능을 기록한다.
• 40% 이상의 프루닝 비율일 경우, ASFP는 SFP를 크게 앞서며 고압축에 대한 뛰어난 내구성을 보여준다.
• 프루닝 비율이 23% 이하일 경우, 프루닝된 모델이 기준 모델보다 더 높은 정확도를 달성하여 정규화 효과가 있음을 시사한다.
• ℓ₂-노름을 사용한 필터 선택이 ℓ₁-노름보다 더 높은 정확도를 제공하며, 큰 분류 기능 가중치를 가진 필터를 더 잘 유지하기 때문이다.
• ASFP 성능은 파라미터 D에 대해 상대적으로 민감하지 않으며, D가 7에서 16 사이로 변할 때 정확도 변동이 0.3% 이내로 매우 작다.
• 기본 1에포크 간격보다 긴 간격(예: 10에포크)을 사용할 경우 더 높은 정확도를 달성할 수 있어, 하이퍼파라미터 튜닝의 여지가 있음을 시사한다.