[논문 리뷰] LeGR: Filter Pruning via Learned Global Ranking.

Ting-Wu Chin, Ruizhou Ding외 2명|arXiv (Cornell University)|2019. 04. 28.

Advanced Neural Network Applications참고 문헌 17인용 수 22

한 줄 요약

LeGR는 합성곱 필터의 학습된 글로벌 순위를 통해 다양한 정확도-지연 시간 트레이드오프를 가진 다수의 프루닝된 ConvNet 아키텍처를 생성함으로써 사전에 목표 모델 복잡도를 지정할 필요 없이 모델 압축을 수행한다. 이는 이전 방법 대비 2배에서 3배 빠른 프루닝 속도를 달성하면서 CIFAR-100, ResNet-56에서 성능을 유사하거나 향상시키며, ImageNet과 Bird-200에서도 검증되었다.

ABSTRACT

Pruning convolutional filters has demonstrated its effectiveness in compressing ConvNets. Prior art in filter pruning requires users to specify a target model complexity (e.g., model size or FLOP count) for the resulting architecture. However, determining a target model complexity can be difficult for optimizing various embodied AI applications such as autonomous robots, drones, and user-facing applications. First, both the accuracy and the speed of ConvNets can affect the performance of the application. Second, the performance of the application can be hard to assess without evaluating ConvNets during inference. As a consequence, finding a sweet-spot between the accuracy and speed via filter pruning, which needs to be done in a trial-and-error fashion, can be time-consuming. This work takes a first step toward making this process more efficient by altering the goal of model compression to producing a set of ConvNets with various accuracy and latency trade-offs instead of producing one ConvNet targeting some pre-defined latency constraint. To this end, we propose to learn a global ranking of the filters across different layers of the ConvNet, which is used to obtain a set of ConvNet architectures that have different accuracy/latency trade-offs by pruning the bottom-ranked filters. Our proposed algorithm, LeGR, is shown to be 2x to 3x faster than prior work while having comparable or better performance when targeting seven pruned ResNet-56 with different accuracy/FLOPs profiles on the CIFAR-100 dataset. Additionally, we have evaluated LeGR on ImageNet and Bird-200 with ResNet-50 and MobileNetV2 to demonstrate its effectiveness. Code available at this https URL.

연구 동기 및 목표

• 필터 프루닝에서 목표 모델 복잡도를 수동으로 선택하는 데 드는 시간과 응용 분야에 따라 달라지는 문제를 해결하기 위해.
• 사전 정의된 지연 시간 제약 조건이 없이도 다양한 정확도-지연 시간 트레이드오프를 효율적으로 탐색하기 위해.
• 다양한 모델 버전을 위한 프루닝을 이끄는 데 사용할 수 있는 레이어 간 글로벌 필터 순위를 학습하는 방법을 개발하기 위해.
• 로봇 및 드론과 같은 실세계 AI 응용 분야에서 모델 압축의 시행착오적 성격을 줄이기 위해.
• 다양한 벤치마크에서 성능을 유지하거나 향상시키면서도 프루닝 효율성을 향상시키기 위해.

제안 방법

• LeGR는 미분 가능 순위 기반 메커니즘을 사용하여 ConvNet의 모든 레이어에 걸쳐 필터의 글로벌 순위를 학습한다.
• 이 방법은 필터의 중요도에 따라 순위를 매겨 가장 낮은 순위의 필터를 체계적으로 제거함으로써 다수의 프루닝된 아키텍처를 생성한다.
• 정확도와 FLOP 감소를 균형 잡는 손실 함수를 사용하여 순위를 엔드 투 엔드로 훈련한다.
• 프루닝은 목표 FLOP 예산에 따라 결정된 임계값 이하의 필터를 제거함으로써 레이어 단위로 적용된다.
• 이 방법은 다양한 정확도와 지연 시간 프로파일을 가진 파레토 유사 집합의 모델 생성을 지원한다.
• 이 방법은 ResNet-50과 MobileNetV2를 사용하여 CIFAR-100, ImageNet, Bird-200에서 평가되었다.

실험 결과

연구 질문

• RQ1 목표 복잡도를 사전에 정의하지 않고도 효율적이고 다목적의 모델 압축을 가능하게 하는 글로벌 필터 순위 기반 메커니즘을 학습할 수 있는가?
• RQ2 LeGR의 글로벌 순위는 레이어별 또는 히우리스틱 프루닝과 비교해 속도와 성능 면에서 어떻게 다른가?
• RQ3 LeGR는 다양한 데이터셋에서 유리한 정확도/FLOPs 트레이드오프를 가진 다양한 프루닝된 모델 세트를 생성할 수 있는가?
• RQ4 학습된 순위는 ResNet-50과 같은 다른 아키텍처 간에 일반화 가능한가?
• RQ5 LeGR의 효율성과 성능은 ImageNet과 Bird-200와 같은 대규모 벤치마크에서 어떻게 스케일링되는가?

주요 결과

• LeGR는 CIFAR-100에서 ResNet-56을 대상으로 기존 최고 성능의 필터 프루닝 방법 대비 2배에서 3배 빠른 프루닝 속도를 달성한다.
• LeGR에서 생성된 프루닝된 모델는 동일한 FLOP 수준에서 이전 방법의 정확도를 유지하거나 초월한다.
• LeGR는 다양한 정확도와 지연 시간 트레이드오프를 가진 다양한 프루닝된 모델 세트를 성공적으로 생성하여 실세계 응용 분야에서의 탄력적 배포를 가능하게 한다.
• 이 방법은 더 큰 모델과 데이터셋으로도 잘 일반화되어 ResNet-50과 MobileNetV2를 사용한 ImageNet과 Bird-200에서 강력한 성능을 보였다.
• 학습된 글로벌 순위는 레이어 간 필터 중요도를 효과적으로 포착하여 아키텍처 전반에 걸쳐 일관되고 효율적인 프루닝을 가능하게 한다.
• 이 방법은 모델 복잡도를 반복적으로 시행착오적으로 조정하는 데 필요한 노력과 시간을 줄여, 몸체 기반 AI 시스템의 모델 압축을 간소화한다.