[논문 리뷰] SCOP: Scientific Control for Reliable Neural Network Pruning

Yehui Tang, Yunhe Wang외 5명|arXiv (Cornell University)|2020. 10. 21.

Advanced Neural Network Applications참고 문헌 46인용 수 85

한 줄 요약

SCOP은 과학적 대조군으로서 knockoff 특성을 도입하여 사전 학습된 CNN의 필터를 신뢰성 있게 가지치기하며, 정확도 손실을 최소화하면서 큰 압축을 달성합니다(예: ResNet-101에서 57.8% 매개변수 감소 및 60.2% FLOPs 감소, top-1 손실 0.01%).

ABSTRACT

This paper proposes a reliable neural network pruning algorithm by setting up a scientific control. Existing pruning methods have developed various hypotheses to approximate the importance of filters to the network and then execute filter pruning accordingly. To increase the reliability of the results, we prefer to have a more rigorous research design by including a scientific control group as an essential part to minimize the effect of all factors except the association between the filter and expected network output. Acting as a control group, knockoff feature is generated to mimic the feature map produced by the network filter, but they are conditionally independent of the example label given the real feature map. We theoretically suggest that the knockoff condition can be approximately preserved given the information propagation of network layers. Besides the real feature map on an intermediate layer, the corresponding knockoff feature is brought in as another auxiliary input signal for the subsequent layers. Redundant filters can be discovered in the adversarial process of different features. Through experiments, we demonstrate the superiority of the proposed algorithm over state-of-the-art methods. For example, our method can reduce 57.8% parameters and 60.2% FLOPs of ResNet-101 with only 0.01% top-1 accuracy loss on ImageNet. The code is available at https://github.com/huawei-noah/Pruning/tree/master/SCOP_NeurIPS2020.

연구 동기 및 목표

• 레이블과 무관한 영향을 최소화하여 가지치기 의사결정의 간섭을 최소화하고 신뢰할 수 있는 필터 가지치기를 촉진합니다.
• 실제로 중요한 필터를 구분하기 위한 knockoff 특성을 이용한 과학적 대조 프레임워크를 제안합니다.
• 학습 가능한 스케일링 팩터로 가지치기에 통합하는 knockoff 데이터를 생성하는 효율적인 방법을 개발합니다.
• CIFAR-10 및 ImageNet 데이터셋에서 최첨단 압축-정확도 트레이드오프를 보여줍니다.

제안 방법

• 레이블과 독립적이면서 실제 피처와 교환가능한 knockoff 피처를 정의합니다.
• 두 개의 보조정리를 통해 knockoff 피처를 네트워크 계층을 통해 전달할 수 있음을 보여주며, 생성기를 재학습하지 않고도 계층별 knockoffs를 가능하게 합니다.
• 실제 피처와 knockoff 피처를 함께 스케일링하는 제약 조건 beta + beta~ = 1인 적대적 선택 계층을 도입합니다.
• 레이블이 있는 데이터를 사용하여 실제 피처와 knockoff 피처의 스케일링 팩터를 최적화하고, knockoffs보다 실제 데이터에 더 의존하는 필터를 식별합니다.
• I = beta - beta~ (BN 스케일이 있으면 보정되어) 를 계산하여 중요도 통계를 통해 필터를 가지치기합니다.
• 가지치기된 네트워크를 미세 조정하여 성능을 회복하거나 향상시킵니다.

실험 결과

연구 질문

• RQ1 knockoff 피처가 가지치기 중에 중복된 CNN 필터를 식별하기 위한 효과적인 대조군으로 작용할 수 있을까요?
• RQ2 knockoff 데이터를 효율적으로 생성하고 심층 네트워크를 통해 전달하여 신뢰할 수 있는 가지치를 지원할 수 있을까요?
• RQ3 SCOP를 사용한 가지치기 결과가 표준 벤치마크에서 최신 방법과 비교해 정확도-매개변수/플롭스 트레이드오프를 향상시키나요?
• RQ4 제안된 SCOP 프레임워크가 아키텍처와 데이터셋(CIFAR-10 및 ImageNet) 전반에 걸쳐 강건한가요?

주요 결과

• SCOP은 CIFAR-10에서 여러 최신 가지치기 방법보다 정확도를 더 잘 보존하면서 매개변수와 FLOPs를 크게 감소시킵니다(예: ResNet-56: 56.0% FLOPs 감소, 정확도 하락 0.06%).
• ImageNet에서 SCOP은 다수의 기준선보다 더 큰 압축으로 경쟁력 있는 top-1/top-5 정확도를 달성합니다(예: ResNet-50: 24.74% top-1, 주목할 만한 FLOPs 감소).
• SCOP은 ResNet-101에서 57.8% 매개변수 감소 및 60.2% FLOPs 감소를 달성하되 top-1 정확도 손실은 0.01%에 불과합니다.
• 제거 연구는 대조군을 제거하면 오차가 증가함을 보여주어, 신뢰할 수 있는 가지치를 위한 knockoffs의 중요성을 확인합니다.
• GPU에서의 현실적 가속은 이론적 FLOPs 감소와 일치하며 SCOP의 실용적 이점을 확인합니다.