[논문 리뷰] Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration

Yang He, Ping Liu외 3명|arXiv (Cornell University)|2018. 11. 01.

Advanced Neural Network Applications참고 문헌 47인용 수 22

한 줄 요약

이 논문은 노름 기반 중요도 기준에 의존하지 않고, 필터 특징 맵의 기하학적 중앙값을 활용하여 정보가 중복된 필터를 식별하고 제거하는 새로운 필터 Pruning 방법인 FPGM(Filter Pruning via Geometric Median)을 제안한다. FPGM는 SOTA 성능을 달성하여 CIFAR-10에서 ResNet-110의 FLOPs를 52% 이상 감소시키며 상대적 정확도를 2.69% 향상시키고, ImageNet에서 ResNet-101의 FLOPs를 42% 이상 감소시키면서 top-5 정확도에 변화가 없음을 입증하였다.

ABSTRACT

Previous works utilized ''smaller-norm-less-important'' criterion to prune filters with smaller norm values in a convolutional neural network. In this paper, we analyze this norm-based criterion and point out that its effectiveness depends on two requirements that are not always met: (1) the norm deviation of the filters should be large; (2) the minimum norm of the filters should be small. To solve this problem, we propose a novel filter pruning method, namely Filter Pruning via Geometric Median (FPGM), to compress the model regardless of those two requirements. Unlike previous methods, FPGM compresses CNN models by pruning filters with redundancy, rather than those with ''relatively less'' importance. When applied to two image classification benchmarks, our method validates its usefulness and strengths. Notably, on CIFAR-10, FPGM reduces more than 52% FLOPs on ResNet-110 with even 2.69% relative accuracy improvement. Moreover, on ILSVRC-2012, FPGM reduces more than 42% FLOPs on ResNet-101 without top-5 accuracy drop, which has advanced the state-of-the-art. Code is publicly available on GitHub: https://github.com/he-y/filter-pruning-geometric-median

연구 동기 및 목표

• 노름 기반 필터 Pruning 기준의 잠재적 한계를 규명하는 것 — 이 기준은 크게 벗어난 노름 편차와 낮은 최소 노름이라는 두 가지 엄격한 조건에 의존한다.
• 상대적 중요도가 아닌 필터의 중복성에 초점을 맞춤으로써 이러한 제약 조건에 의존하지 않는 새로운 필터 Pruning 방법을 제안하는 것.
• 표준 벤치마크에서 정확도를 유지하거나 향상시키면서도 모델 압축과 추론 속도 향상을 초과 달성하는 것.
• 다양한 아키텍처와 데이터셋(예: CIFAR-10 및 ILSVRC-2012)에서 기하학적 중앙값 기반 Pruning의 효과를 입증하는 것.

제안 방법

• FPGM는 각 컨볼루션 레이어 내 필터의 기하학적 중앙값을 계산하여, 상호 관계를 기반으로 가장 교체 가능한 필터를 식별한다.
• 기하학적 중앙값에 가장 가까운 필터는 중복성과 간주되어 제거되며, 이는 나머지 필터로도 성능 손실 없이 표현 가능하기 때문이다.
• 레이어 내 모든 필터와의 거리 합을 최소화하기 위해 반복 재가중 알고리즘을 사용하여 기하학적 중앙값을 근사한다.
• 필터 유사도 측정을 위해 ℓ₁-노름 또는 코사인 거리와 같은 거리 함수를 특징 맵 공간에서 사용한다.
• 학습 중에 스케줄된 Pruning 간격을 적용하여 엔드 투 엔드 최적화를 가능하게 한다.
• Pruning 이후 정밀도 향상을 위해 미세조정(fine-tuning)과 결합한다.

실험 결과

연구 질문

• RQ1 노름 편차가 작거나 최소 노름이 무시할 수 없을 경우, 노름 기반 필터 Pruning 기준이 실패하는가?
• RQ2 노름 기반 기준의 가정이 위반되는 상황에서, 기하학적 중앙값 기반 접근이 성능 면에서 우월한가?
• RQ3 상대적 중요도가 아닌 중복성 기반 Pruning이 더 나은 모델 압축과 정확도 유지에 기여하는가?
• RQ4 노름 기반 기준이 실패할 수 있는 상황에서 FPGM는 다양한 네트워크 아키텍처와 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 FPGM는 다른 압축 기법과 효과적으로 조합되어 모델 효율성을 더욱 향상시킬 수 있는가?

주요 결과

• CIFAR-10에서 FPGM는 ResNet-110의 FLOPs를 52% 이상 감소시키며 기준 모델 대비 상대적 정확도를 2.69% 향상시켰다.
• ILSVRC-2012에서 FPGM는 ResNet-101의 FLOPs를 42% 이상 감소시키며 top-5 정확도에 변화가 없고, top-1 정확도 손실은 0.05%에 불과했다.
• 비슷한 FLOP 감소 수준에서 FPGM는 ResNet-101에서 기존 SOTA 방법 [15]보다 top-5 정확도에서 1.28% 높은 성능을 기록했다.
• ResNet-50에서는 FPGM에 미세조정을 적용한 결과, [16]보다 높은 추론 속도 향상을 달성했고 정확도도 0.85% 높았다.
• Ablation 연구 결과, FPGM는 Pruning 간격에 대해 강건하며, 기준 모델 대비 18% 및 40% FLOP 감소 수준에서 더 높은 성능을 기록했다.
• 특징 맵 시각화 결과, 제거된 필터(예: 7, 23, 27)가 나머지 필터(예: 5, 12, 16, 0, 4, 33)에 의해 효과적으로 대체되어 대나무나 판다 윤곽 등의 구조적 특징를 잘 포착하는 것으로 확인되었다.