[논문 리뷰] Meta Filter Pruning to Accelerate Deep Convolutional Neural Networks.

Yang He, Ping Liu외 2명|arXiv (Cornell University)|2019. 04. 08.

Advanced Neural Network Applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 훈련 중 필터의 부재와 동적 필터 분포 변화를 동시에 고려하는 새로운 필터 프루닝 방법인 메타 필터 프루닝(Meta Filter Pruning, MFP)을 제안한다. 필터 거리 기반 기준과 적응형 기준 선택을 위한 메타학습 프레임워크를 도입함으로써, ResNet-50에서 FLOPs를 50% 이상 감소시키면서 ImageNet-2012에서 상위 5개 정확도가 0.44% 감소하는 데에 그친다.

ABSTRACT

Existing methods usually utilize pre-defined criterions, such as p-norm, to prune unimportant filters. There are two major limitations in these methods. First, the relations of the filters are largely ignored. The filters usually work jointly to make an accurate prediction in a collaborative way. Similar filters will have equivalent effects on the network prediction, and the redundant filters can be further pruned. Second, the pruning criterion remains unchanged during training. As the network updated at each iteration, the filter distribution also changes continuously. The pruning criterions should also be adaptively switched. In this paper, we propose Meta Filter Pruning (MFP) to solve the above problems. First, as a complement to the existing p-norm criterion, we introduce a new pruning criterion considering the filter relation via filter distance. Additionally, we build a meta pruning framework for filter pruning, so that our method could adaptively select the most appropriate pruning criterion as the filter distribution changes. Experiments validate our approach on two image classification benchmarks. Notably, on ILSVRC-2012, our MFP reduces more than 50% FLOPs on ResNet-50 with only 0.44% top-5 accuracy loss.

연구 동기 및 목표

• 기존의 필터 프루닝 방법이 필터 간 관계를 忽시하고 정적 프루닝 기준을 사용하는 한계를 해결한다.
• 예측에 유사하게 기여하는 부용한 필터를 식별하고 제거하여 모델의 효율성을 향상시킨다.
• 훈련 중에 변화하는 필터 분포에 맞게 프루닝 기준을 적응적으로 전환한다.
• 각 훈련 단계에서 가장 적합한 기준을 선택하는 메타-프루닝 프레임워크를 개발한다.

제안 방법

• 필터 간 유사성과 부용성을 캡처하기 위해 필터 거리 기반의 새로운 프루닝 기준을 도입한다.
• 각 훈련 반복에서 최적의 프루닝 기준을 선택하는 메타-프루닝 프레임워크를 설계한다.
• p-노름 기준과 필터 거리 기준을 조합하여 프루닝 정확도를 향상시킨다.
• 현재 필터 분포 통계를 바탕으로 최적의 프루닝 전략을 예측하기 위해 메타-러닝을 훈련한다.
• 차별 가능한 아키텍처를 사용하여 프루닝 정책의 엔드 투 엔드 훈련을 가능하게 한다.
• 훈련 중에 구조적이고 계층 기반으로 필터를 선택적으로 프루닝한다.

실험 결과

연구 질문

• RQ1 표준 p-노름 기준을 초월해 필터의 부용성을 어떻게 더 잘 캡처할 수 있는가?
• RQ2 훈련 중 프루닝 기준의 동적 적응이 프루닝 효율을 향상시킬 수 있는가?
• RQ3 거리 메트릭을 통한 필터 유사성 통합이 더 나은 모델 압축을 이끌 수 있는가?
• RQ4 메타학습 프레임워크는 다양한 훈련 단계에서 최적의 프루닝 전략을 효과적으로 선택할 수 있는가?

주요 결과

• MFP는 ResNet-50에서 FLOPs를 50% 이상 감소시키면서도 높은 정확도를 유지한다.
• ILSVRC-2012 벤치마크에서 상위 5개 정확도 손실이 단 0.44%에 그친다.
• 필터 거리 기준은 안전하게 제거할 수 있는 부용한 필터를 효과적으로 식별한다.
• 메타-프루닝 프레임워크는 훈련 중 변화하는 필터 분포에 성공적으로 적응한다.
• p-노름 기준과 필터 거리 기준의 조합은 개별 기준만을 사용할 때보다 프루닝 성능을 향상시킨다.
• 이 방법은 다양한 네트워크 아키텍처와 데이터셋에 대해 잘 일반화된다.