[논문 리뷰] An Information Theory-inspired Strategy for Automatic Network Pruning

Xiawu Zheng, Yuexiao Ma외 7명|arXiv (Cornell University)|2021. 08. 19.

Advanced Neural Network Applications참고 문헌 46인용 수 11

한 줄 요약

이 논문은 반복적 검색이나 재학습 없이 층 활성화에 대해 정규화된 힐버트-슈미트 독립성 기준(nHSIC)을 사용하여 채널 중요도를 추정하는 정보 이론 기반의 자동 네트워크 프루닝 방법인 ITPruner을 제안한다. 아키텍처 검색을 볼록 최적화 문제로 공식화하여, 단일 CPU/GPU에서 몇 초 내에 실행되며, 상태의 기준을 초월하는 압축 성능을 달성한다 — 예를 들어 ResNet-50을 사용해 ImageNet에서 45.3%의 FLOPs 감소와 함께 75.75%의 top-1 정확도를 달성한다.

ABSTRACT

Despite superior performance on many computer vision tasks, deep convolution neural networks are well known to be compressed on devices that have resource constraints. Most existing network pruning methods require laborious human efforts and prohibitive computation resources, especially when the constraints are changed. This practically limits the application of model compression when the model needs to be deployed on a wide range of devices. Besides, existing methods are still challenged by the missing theoretical guidance. In this paper we propose an information theory-inspired strategy for automatic model compression. The principle behind our method is the information bottleneck theory, i.e., the hidden representation should compress information with each other. We thus introduce the normalized Hilbert-Schmidt Independence Criterion (nHSIC) on network activations as a stable and generalized indicator of layer importance. When a certain resource constraint is given, we integrate the HSIC indicator with the constraint to transform the architecture search problem into a linear programming problem with quadratic constraints. Such a problem is easily solved by a convex optimization method with a few seconds. We also provide a rigorous proof to reveal that optimizing the normalized HSIC simultaneously minimizes the mutual information between different layers. Without any search process, our method achieves better compression tradeoffs comparing to the state-of-the-art compression algorithms. For instance, with ResNet-50, we achieve a 45.3%-FLOPs reduction, with a 75.75 top-1 accuracy on ImageNet. Codes are avaliable at https://github.com/MAC-AutoML/ITPruner/tree/master.

연구 동기 및 목표

• 기존의 네트워크 프루닝 방법이 광범위한 인간 간섭, 반복적 재학습, 또는 비용이 많이 드는 검색 과정을 필요로 하는 한계를 해결하기 위해.
• 정보 버블링 이론에 기반한 이론적으로 탄탄한 자동 프루닝 전략을 개발하기 위해.
• 다양한 자원 제약 조건을 가진 다양한 장치에서 효율적인 모델 압축을 가능하게 하기 위해.
• 프루닝 후 하이퍼파rameter 튜닝이나 정확도 복구 단계가 필요 없도록 하기 위해.

제안 방법

• 이 방법은 특징 맵의 독립성에 기반하여 층 중요도의 안정적이고 미분 가능하며 일반화된 지표로 정규화된 힐버트-슈미트 독립성 기준(nHSIC)을 도입한다.
• 채널 압축 문제를 이차 제약 조건이 있는 선형 프로그래밍 문제로 공식화하여 아키텍처 검색을 볼록 최적화 문제로 전환한다.
• 볼록 솔버를 사용해 효율적으로 최적화를 해결함으로써 단일 CPU 또는 GPU에서 수초 이내에 추론이 가능해진다.
• 이 방법은 정보 버블링 이론에 기반하며, nHSIC를 최소화하는 것은 층 간 상호정보량을 최소화하는 것과 동일하다.
• 이 방법은 두 개의 하이퍼파rameter를 사용한다: β(각 층의 상대적 압축을 제어)와 n(정규화된 nHSIC 추정을 위한 입력 샘플 수).
• 이론적 증명을 통해 nHSIC를 최소화하면 층 활성화 간의 상호정보량도 동시에 최소화됨을 보여준다.

실험 결과

연구 질문

• RQ1 반복적 검색이나 재학습 없이도 정보 이론 원리를 활용해 이론적으로 탄탄한 자동 네트워크 프루닝 방법을 유도할 수 있는가?
• RQ2 nHSIC와 같은 통계적 종속성 측정법을 사용해 층 단위 중요도를 안정적이고 효율적으로 측정할 수 있는가?
• RQ3 아키텍처 검색 문제를 볼록 최적화 문제로 전환하여 빠르고 확장 가능한 프루닝을 가능하게 할 수 있는가?
• RQ4 다양한 모델에서 정확도와 FLOPs 감소 측면에서 최신 기술과 비교해 본 결과, 제안된 방법은 어떤가?

주요 결과

• ITPruner는 ResNet-50에서 ImageNet에서 FLOPs를 45.3% 감소시키며 top-1 정확도가 0.75% 감소하는 데 성공하여 최신 기술을 초월한다.
• MobileNetV1에서 ITPruner는 FLOPs를 감소시키며 정확도가 0.8% 감소하는 데 성공했고, 이는 AMC의 1.3% 감소보다도 더 뛰어난 압축 효율성을 보였다.
• 배치 크기가 8일 때 Google Pixel 2에서 MobileNetV1과 MobileNetV2에 대해 각각 3배와 1.65배의 추론 속도 향상을 달성했다.
• ITPruner가 발견한 아키텍처는 반복 검색이 없는 진화 알고리즘 기반 베이스라인과 매우 유사했으며, top-1 정확도 격차는 단지 0.19%에 불과했다.
• 이 방법은 하이퍼파rameter 선택에 매우 강건하다: 다양한 β와 n 값에 따른 정확도 변동 범위가 0.1% 미만이었으며, 이는 높은 안정성과 사용 용이성을 의미한다.
• 이론적 분석을 통해 nHSIC를 최소화하는 것이 층 활성화 간의 상호정보량을 최소화하는 것과 동일하다는 것을 확인하여 강력한 이론적 기반을 확보했다.