[논문 리뷰] HRank: Filter Pruning using High-Rank Feature Map

Mingbao Lin, Rongrong Ji외 5명|arXiv (Cornell University)|2020. 02. 24.

Advanced Neural Network Applications참고 문헌 36인용 수 11

한 줄 요약

HRank는 필터의 특징맵 랭크를 기반으로 제거할 필터를 선별하는 새로운 필터 프루닝 방법을 제안한다. 이는 낮은 랭크의 특징맵을 생성하는 필터가 정보를 덜 포함하고, 따라서 더 중요도가 낮다는 경험적 관찰에 기반한다. 특징맵 랭크를 수학적으로 정식화하고, 고랭크 필터를 동결하여 부분적인 미세조정을 가능하게 함으로써, 정확도 손실을 최소화하면서 최신 기술 수준의 압축 성능을 달성한다. 예를 들어, CIFAR-10에서 ResNet-110에 적용했을 때 58.2%의 FLOPs 감소와 59.2%의 파라미터 감소를 이끌었으며, 상위-1 정확도 손실은 단 0.14%에 불과하다.

ABSTRACT

Neural network pruning offers a promising prospect to facilitate deploying deep neural networks on resource-limited devices. However, existing methods are still challenged by the training inefficiency and labor cost in pruning designs, due to missing theoretical guidance of non-salient network components. In this paper, we propose a novel filter pruning method by exploring the High Rank of feature maps (HRank). Our HRank is inspired by the discovery that the average rank of multiple feature maps generated by a single filter is always the same, regardless of the number of image batches CNNs receive. Based on HRank, we develop a method that is mathematically formulated to prune filters with low-rank feature maps. The principle behind our pruning is that low-rank feature maps contain less information, and thus pruned results can be easily reproduced. Besides, we experimentally show that weights with high-rank feature maps contain more important information, such that even when a portion is not updated, very little damage would be done to the model performance. Without introducing any additional constraints, HRank leads to significant improvements over the state-of-the-arts in terms of FLOPs and parameters reduction, with similar accuracies. For example, with ResNet-110, we achieve a 58.2%-FLOPs reduction by removing 59.2% of the parameters, with only a small loss of 0.14% in top-1 accuracy on CIFAR-10. With Res-50, we achieve a 43.8%-FLOPs reduction by removing 36.7% of the parameters, with only a loss of 1.17% in the top-1 accuracy on ImageNet. The codes can be available at https://github.com/lmbxmu/HRank.

연구 동기 및 목표

• 기존 필터 프루닝 방법에서 비이차원적 구성요소를 식별하기 위한 이론적 지침이 부족해 인해 발생하는 높은 훈련 및 노동 비용 문제를 해결하기 위해.
• 특징맵의 본질적 성질, 특히 랭크에 기반한 프루닝 기준을 개발하여, 훈련 목표를 수정하지 않고도 필터 제거를 안내하기 위해.
• 고랭크 특징맵을 생성하는 필터를 동결하여, 중요한 정보를 포함하고 있으며 가중치 갱신에 덜 민감한 필터를 유지함으로써, 미세조정 비용을 줄이기 위해.
• 표준 벤치마크에서 정확도를 유지하면서 FLOPs와 파라미터 측면에서 높은 압축 비율을 달성하기 위해.

제안 방법

• HRank는 다양한 입력 배치를 통해 각 필터가 생성하는 특징맵의 랭크를 분석함으로써 필터의 중요도를 평가한다.
• 특정 필터가 생성하는 특징맵의 평균 랭크가 입력 배치의 수와 관계없이 일정하게 유지된다는 경험적 발견을 활용한다.
• 낮은 랭크의 특징맵을 생성하는 필터는 정보가 적고, 미세조정 과정에서 쉽게 복구 가능하므로 우선적으로 프루닝된다.
• 특징맵의 평균 랭크를 기반으로 필터를 순위 매기는 수학적 정식화를 통해, 추가 제약 조건 없이 체계적인 프루닝을 가능하게 한다.
• 핵심 혁신은, 고랭크 특징맵을 생성하는 일부 필터를 미세조정 중에 동결함으로써, 성능 저하를 최소화하면서 훈련 시간을 크게 단축시키는 것이다.
• 이 방법은 훈련 후 적용되며, 특징맵 랭크를 계산하기 위해 단일 순방향 전파만 필요하므로 효율적이며 표준 훈련 파이프라인과 호환된다.

실험 결과

연구 질문

• RQ1 왜 한 필터가 생성하는 특징맵의 평균 랭크가 다양한 입력 배치에 걸쳐 일정하게 유지되는가?
• RQ2 훈련 목표를 수정하지 않고도 특징맵의 랭크가 필터 프루닝에 대해 신뢰할 수 있고 이론적으로 탄탄한 기준이 될 수 있는가?
• RQ3 고랭크 특징맵은 가중치 갱신 없이 얼마나 오랫동안 유지될 수 있으며, 이는 모델 성능에 어떤 영향을 미치는가?
• RQ4 CIFAR-10과 ImageNet에서 최신 기술 수준의 필터 프루닝 방법과 비교했을 때 HRank는 압축 비율, FLOPs 감소, 정확도 유지 측면에서 어떤가?
• RQ5 낮은 랭크 특징맵을 기반으로 필터를 프루닝하는 것과 무작위 또는 역순 프루닝 전략을 비교했을 때 어떤 영향을 미치는가?

주요 결과

• HRank는 CIFAR-10에서 ResNet-110에 적용했을 때 FLOPs를 58.2% 감소시키고 파라미터를 59.2% 감소시켰으며, 상위-1 정확도 손실은 단 0.14%에 그쳤다.
• ResNet-50에 적용했을 때는 FLOPs를 43.8% 감소시키고 파라미터를 36.7% 감소시켰으며, ImageNet에서 상위-1 정확도 손실은 1.17%에 불과했다.
• 절단 실험을 통해 낮은 랭크 특징맵을 생성하는 필터를 프루닝하는 HRank가 무작위 또는 역순 프루닝보다 우수한 성능을 보였으며, Edge 및 Reverse 변형은 상당히 열 劣한 성능을 보였다.
• 미세조정 중 고랭크 특징맵을 생성하는 필터의 15–20%를 동결했을 때 정확도 손실은 단 0.04%에 그쳤다 (93.13% 대비 93.17%), 성능에 미치는 영향이 극히 미미함을 입증했다.
• 정확도 및 압축 효율성 측면에서 GAL-1-joint 및 ThiNet-50를 모두 초월하여, 더 낮은 FLOPs와 파라미터 감소를 달성하면서도 경쟁 가능한 정확도를 유지했다.
• 추가 제약 조건을 도입하거나 훈련 손실를 수정하지 않음으로써 최신 기술 수준의 성능를 달성했으며, 표준 훈련 워크플로우와의 호환성이 보장되었다.