[논문 리뷰] Network Pruning using Adaptive Exemplar Filters

Mingbao Lin, Rongrong Ji외 5명|arXiv (Cornell University)|2021. 01. 20.

Advanced Neural Network Applications참고 문헌 55인용 수 4

한 줄 요약

EPruner는 가중치 행렬에 대해 유사도 전파를 통해 선택된 적응형 예시 필터를 사용하여 데이터에 의존하지 않고 CPU 기반으로 효율적인 필터 프루닝 방법을 제안한다. 인간이 설계한 규칙나 비용이 많이 드는 재학습이 필요 없이 자동으로 정보가 풍부한 필터를 식별함으로써, VGGNet-16에서는 FLOPs를 최대 76.34% 감소시키며 정확도를 0.06% 향상시키고, ResNet-152에서는 FLOPs를 65.12% 감소시키며 상위 5개 정확도가 0.71% 감소하는 성과를 달성한다.

ABSTRACT

Popular network pruning algorithms reduce redundant information by optimizing hand-crafted models, and may cause suboptimal performance and long time in selecting filters. We innovatively introduce adaptive exemplar filters to simplify the algorithm design, resulting in an automatic and efficient pruning approach called EPruner. Inspired by the face recognition community, we use a message passing algorithm Affinity Propagation on the weight matrices to obtain an adaptive number of exemplars, which then act as the preserved filters. EPruner breaks the dependency on the training data in determining the "important" filters and allows the CPU implementation in seconds, an order of magnitude faster than GPU based SOTAs. Moreover, we show that the weights of exemplars provide a better initialization for the fine-tuning. On VGGNet-16, EPruner achieves a 76.34%-FLOPs reduction by removing 88.80% parameters, with 0.06% accuracy improvement on CIFAR-10. In ResNet-152, EPruner achieves a 65.12%-FLOPs reduction by removing 64.18% parameters, with only 0.71% top-5 accuracy loss on ILSVRC-2012. Our code can be available at https://github.com/lmbxmu/EPruner.

연구 동기 및 목표

• 구조적 필터 프루닝에서 수작업으로 정의된 규칙과 데이터에 의존하는 탐색에 의존하지 않도록 하는 것.
• GPU 기반 최신 기술이 수시간이 소요되는 프루닝 시간을 CPU 전용 계산을 통해 초 단위로 단축시키는 것.
• 재학습이나 하이퍼파rameter 조정 없이도 정보가 풍부한 필터를 안정적이고 적응적으로 선택할 수 있는 방법을 개발하는 것.
• 예시 필터 가중치를 그대로 이관하여 미세조정을 위한 더 나은 초기화를 제공하는 것.
• 다양한 CNN 아키텍처에 걸쳐 효율적이고 자동화되며 확장 가능한 모델 압축을 가능하게 하는 것.

제안 방법

• 각 컨볼루션 레이어의 필터를 유사도 그래프 내의 고차원 데이터 포인트로 간주한다.
• 가중치 행렬에 대해 유사도 전파 메시지 전달 알고리즘을 적용하여 인간이 정의한 임계값 없이 적응형 예시를 식별한다.
• 알고리즘 자체가 결정하는 예시 수를 사용하여 프루닝 비율을 수동으로 지정할 필요가 없도록 한다.
• 예시 필터와 그에 해당하는 채널만 유지하고 나머지는 제거한다.
• 예시 필터의 가중치를 그대로 이관하여 미세조정의 초기화로 활용함으로써 사전 학습된 표현 능력을 유용하게 활용한다.
• 전체 프루닝 파이프라인을 CPU 기반으로 구현하여 아키텍처 선택에 있어 1초 미만의 추론 시간을 달성한다.

실험 결과

연구 질문

• RQ1 데이터에 의존하지 않고 수작업으로 정의된 규칙 없이도 최적의 유지할 필터 수를 자동으로 식별할 수 있는가?
• RQ2 유사도 전파 알고리즘이 사전 학습된 CNN에서 구조적 프루닝을 위한 고영향도 필터를 효과적으로 선택할 수 있는가?
• RQ3 예시 필터 가중치를 초기화로 사용할 경우, 무작위 또는 ℓ₁-노름 기반 초기화보다 더 나은 미세조정 성능를 보일 수 있는가?
• RQ4 정확도를 유지하거나 향상시키면서도 CPU에서 프루닝 과정을 수초 내로 가속화할 수 있는가?
• RQ5 이 방법은 다양한 네트워크 아키텍처와 데이터셋에서 어떻게 확장 가능한가?

주요 결과

• CIFAR-10을 사용한 VGGNet-16에서 EPruner는 88.80%의 파라미터를 제거함으로써 FLOPs를 76.34% 감소시키며 원본 모델 대비 정확도를 0.06% 향상시켰다.
• ImageNet-ILSVRC-2012를 사용한 ResNet-152에서 EPruner는 FLOPs를 65.12% 감소시키고 파라미터를 64.18% 감소시켰으며, 상위 5개 정확도는 0.71% 감소에 그쳤다.
• ResNet-152에서 아키텍처 선택을 위한 시간은 CPU 기반으로 13초 이내에 완료되었으며, ABCPruner를 사용한 GPU 기반 접근 방식과 비교해 75,000초 이상 단축되었다.
• EPruner의 예시 기반 초기화는 무작위 및 ℓ₁-노름 기반 초기화보다 미세조정 성능에서 뚜렷이 뛰어나, 더 우수한 워밍업 품질을 입증했다.
• 하이퍼파rameter β의 영향은 안정적인 범위(β ∈ [0.72, 0.73]) 내에서 미미하여, 광범위한 튜닝 없이도 신뢰할 수 있고 예측 가능한 프루닝이 가능하다.
• 이 방법은 VGG, ResNet, GoogLeNet 등 다양한 아키텍처와 데이터셋에서 뚜렷한 성능 향상과 효율성 향상을 보이며 안정적인 성능을 유지한다.