[논문 리뷰] COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level Pruning

Wenxiao Wang, Cong Fu외 3명|arXiv (Cornell University)|2019. 06. 25.

Advanced Neural Network Applications참고 문헌 18인용 수 6

한 줄 요약

COP는 층 간 필터 간 부재를 고려하여 상관관계를 활용한 필터 레벨 프루닝을 제안하며, 파라미터 수와 계산 비용에 대한 정규화를 통합하여 사용자 정의가 가능한 세밀한 모델 압축을 가능하게 한다. 다양한 아키텍처인 VGG, ResNet, MobileNet에서 최고 수준의 압축 비율과 속도 향상을 달성하면서 정확도 손실를 최소화한다.

ABSTRACT

Neural network compression empowers the effective yet unwieldy deep convolutional neural networks (CNN) to be deployed in resource-constrained scenarios. Most state-of-the-art approaches prune the model in filter-level according to the "importance" of filters. Despite their success, we notice they suffer from at least two of the following problems: 1) The redundancy among filters is not considered because the importance is evaluated independently. 2) Cross-layer filter comparison is unachievable since the importance is defined locally within each layer. Consequently, we must manually specify layer-wise pruning ratios. 3) They are prone to generate sub-optimal solutions because they neglect the inequality between reducing parameters and reducing computational cost. Reducing the same number of parameters in different positions in the network may reduce different computational cost. To address the above problems, we develop a novel algorithm named as COP (correlation-based pruning), which can detect the redundant filters efficiently. We enable the cross-layer filter comparison through global normalization. We add parameter-quantity and computational-cost regularization terms to the importance, which enables the users to customize the compression according to their preference (smaller or faster). Extensive experiments have shown COP outperforms the others significantly. The code is released at https://github.com/ZJULearning/COP.

연구 동기 및 목표

• 기존의 필터 레벨 프루닝 방법이 층 간 필터 간 부재를 고려하지 못하는 한계를 해결하기 위해.
• 중요도 점수를 층 간 정규화하여 전역적이고 층 간 비교가 가능한 필터 중요도 평가를 가능하게 하기 위해.
• 이중 정규화를 통해 사용자가 모델 크기 또는 추론 속도를 우선시하는 압축을 사용자 정의할 수 있도록 하기 위해.
• 파라미터 감소와 계산 비용 감소에 모두 민감한 프루닝 전략을 개발하여 비최적의 해를 피하기 위해.

제안 방법

• COP는 피어슨 상관계수를 사용하여 층 간 필터 간의 부재를 측정하여, 서로 유사한 필터를 탐지할 수 있도록 한다.
• 다른 층 간 중요도 점수를 정규화하기 위해 최대값 정규화를 적용하여 전역적 비교와 일관된 프루닝 비율을 가능하게 한다.
• 이중 정규화 항을 도입: 하나는 파라미터 수에 대한, 다른 하나는 계산 비용에 대한 정규화 항으로 사용자 정의된 압축 선호도를 가능하게 한다.
• 중요도 점수를 필터 크기, 상관계수 기반의 부재, 정규화 항의 가중합으로 재정의한다.
• 결합된 중요도 점수를 기반으로 상위 K개 선택 전략을 사용하여 계층별로 프루닝을 수행한다.
• 모델 정확도를 유지하기 위해 프루닝 후 미세조정 과정에서 반복적으로 적용된다.

실험 결과

연구 질문

• RQ1 필터 레벨 프루닝 방법이 깊은 합성곱 신경망에서 여러 층에 걸쳐 부재 필터를 효과적으로 탐지하고 제거할 수 있는가?
• RQ2 필터 중요도를 층 간 정규화하여 일관되고 전역적인 프루닝 결정을 내릴 수 있는가?
• RQ3 파라미터 수와 계산 비용에 대한 정규화 항이 함께 작용하여 더 효율적이고 사용자 정의 가능한 프루닝 전략을 이끌 수 있는가?
• RQ4 제안된 방법이 다양한 아키텍처에서 압축 비율, 속도 향상, 정확도 유지 측면에서 기존 최고 수준의 방법들을 초월하는가?

주요 결과

• CIFAR-100에서 COP는 모든 기준선(NC, SFP, PFGM 포함)보다 높은 압축 비율과 속도 향상을 달성한다.
• VGG16 및 ResNet32에서 COP는 원본 모델과 정확도 차이가 1% 이내로 유지되면서 최대 80%의 파라미터를 프루닝한다.
• MobileNet에서는 모델 내부의 딥라이즈드 분리형 컨볼루션 압축 방식보다 더 뛰어난 압축과 속도 향상을 달성하면서 정확도 손실는 최소화한다.
• 정밀도 분석 결과 피어슨 상관계수와 최대값 정규화가 가장 우수한 부재 탐지 성능을 보이며, 유지된 특징 맵의 필터 유사도를 감소시킨다.
• 정규화 항은 효과적이다: γ를 증가시키면 파라미터 감소를 우선시하고, β를 증가시키면 계산 비용 감소를 우선시하는 것으로 확인되었으며, 의도한 대로 작동한다.
• 시각적 분석 결과 SFP 및 NS보다 COP로 프루닝된 모델은 더 적은 부재 특징 맵을 포함하고 있어 우수한 부재 제거 성능을 입증한다.