[논문 리뷰] Group Fisher Pruning for Practical Network Compression

Liyang Liu, Shilong Zhang외 8명|arXiv (Cornell University)|2021. 08. 02.

Advanced Image and Video Retrieval Techniques인용 수 25

한 줄 요약

이 논문은 그룹 피셔 가지치기(Group Fisher Pruning)을 제안합니다. 이는 자동으로 층을 그룹화하고 마스크를 공유하며 메모리 기반 피셔 정보로 채널 중요도를 평가하는 일반적인 채널 가지치기 프레임워크로, 복합 아키텍처에서 결합된 채널을 다루고 실제 GPU에서의 속도 향상을 더 잘 달성합니다.

ABSTRACT

Network compression has been widely studied since it is able to reduce the memory and computation cost during inference. However, previous methods seldom deal with complicated structures like residual connections, group/depth-wise convolution and feature pyramid network, where channels of multiple layers are coupled and need to be pruned simultaneously. In this paper, we present a general channel pruning approach that can be applied to various complicated structures. Particularly, we propose a layer grouping algorithm to find coupled channels automatically. Then we derive a unified metric based on Fisher information to evaluate the importance of a single channel and coupled channels. Moreover, we find that inference speedup on GPUs is more correlated with the reduction of memory rather than FLOPs, and thus we employ the memory reduction of each channel to normalize the importance. Our method can be used to prune any structures including those with coupled channels. We conduct extensive experiments on various backbones, including the classic ResNet and ResNeXt, mobile-friendly MobileNetV2, and the NAS-based RegNet, both on image classification and object detection which is under-explored. Experimental results validate that our method can effectively prune sophisticated networks, boosting inference speed without sacrificing accuracy.

연구 동기 및 목표

• 잔차, 그룹/깊이별 컨볼루션, FPN 등 복잡한 구조에서 채널이 서로 연결되어 있는 네트워크의 가지치를 동기 부여하고 다루는 것.
• 자동으로 함께 가지치겨야 할 결합된 채널을 식별하는 층 그룹화 알고리즘을 제안하는 것.
• 단일 채널과 결합된 채널 모두에 대해 피셔-정보 기반의 중요도 메트릭을 개발하는 것.
• 메모리 감소에 의해 채널 중요도를 정규화하여 실제 GPU 속도향상과의 상관관계를 개선하는 것.
• 분류 및 물체 검출 백본과 아키텍처 전반에서 방법의 효과를 입증하는 것.

제안 방법

• 입력 채널마다 하나로 초기화된 이진 채널 마스크를 도입한다.
• 연산 그래프에 의한 DFS를 통해 결합된 채널의 그룹을 형성하고 그룹 내에서 마스크를 공유하는 층 그룹화 알고리즘을 개발한다.
• 마스크 기울기의 제곱으로 근사된 피셔-정보 기반 손실 변화 근사를 사용하여 채널 중요도 s_i를 추정한다.
• 연쇄 법칙에 따라 그룹의 모든 채널에 걸친 기울기를 합산하여 결합 채널 중요도를 계산한다.
• 가장 중요도가 낮은 마스크를 점진적으로 0으로 만들고 모델을 미세조정하여 가지치기를 수행한다.
• FLOPs 대신 메모리 감소로 채널 중요도를 정규화하여 GPU에서 더 나은 실제 속도향상을 가져오는 채널을 선택한다.

실험 결과

연구 질문

• RQ1 복잡한 아키텍처에서 결합된 채널을 어떻게 효율적으로 식별하고 가지치기할 수 있는가?
• RQ2 결합된 채널 간 마스크 공유가 정확도 저하 없이 실제 추론 속도 향상을 더 크게 만드는가?
• RQ3 FLOPs보다 메모리 감소가 가지치기 결정과 GPU 속도향상 간의 상관관계를 더 잘 반영하는 정규화 대리변수인가?
• RQ4 피셔-정보 기반의 채널 중요도를 GConv, DWConv 및 FPN 기반 네트워크와 같은 구조에 확장할 수 있는가?
• RQ5 그룹 피셔 가지치기가 다양한 백본 및 작업(분류 및 물체 검출)에 미치는 영향은 무엇인가?

주요 결과

• 이 방법은 잔차 연결, 그룹 컨볼루션, 깊이별 컨볼루션 및 피처 피라미드가 있는 네트워크도 정확도 손실 없이 가지치기할 수 있게 한다.
• 층 그룹화 및 마스크 공유가 개별 채널 가지치기보다 실용적 속도향상을 더 높게 만든다.
• 메모리 정규화된 피셔 중요도는 비정규화된, FLOPs 정규화된 및 메모리 비의존적 접근보다 정확도-속도 트레이드오프에서 우수하다.
• ResNet, ResNeXt, MobileNetV2, RegNet 및 검출 프레임워크에 대한 실험에서 GPU 속도향상이 크게 나타나고 정확도 손실은 미미하다.
• 동일 FLOPs 제약 하에서 분류 및 검출 작업에서 여전히 다수의 SoTA 가지치기 방법보다 우수한 성능을 보인다.