[논문 리뷰] PCAS: Pruning Channels with Attention Statistics.

Kohei Yamamoto, Kurato Maeno|arXiv (Cornell University)|2018. 06. 14.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 단일 글로벌 압축률을 사용하여 채널 중요도를 자동으로 평가하고 채널을 선택하는 데 주목의 통계를 활용하는 채널 프루닝 방법인 PCAS를 제안한다. CIFAR-10에서 ResNet-50에 대해 90.8%의 파라미터 감소와 79.4%의 FLOPs 감소를 달성하면서 정확도 저하가 단지 1%에 그쳐 엣지 디바이스를 위한 효율적인 모델 압축을 가능하게 한다.

ABSTRACT

To implement deep neural networks on small embedded devices, conventional techniques use channel pruning looking considering manual compression rate per layer to reduce parameters. Besides it is difficult to consider the relationships between layers and it takes a lot of time for deeper models. For addressing these issues, we propose a new channel pruning technique based on attention that can evaluate the importance of channels. We improved the method with the criterion to allow the automatic channel selection using a single compression rate for the entire model. Experimental results showed that a parameter reduction of 90.8% and FLOPs reduction of 79.4% was achieved with an accuracy degradation of around 1% for the compressed ResNet-50 model on the CIFAR-10 benchmark.

연구 동기 및 목표

• 임베디드 디바이스에서 효율적인 모델 배포를 위한 채널 프루닝에서 수동적이고 계층 기반의 압축률 선택 방식의 한계를 해결하기 위해.
• 단일 글로벌 압축률을 사용하여 모든 계층에 걸쳐 자동으로 통합된 채널 선택을 가능하게 하기 위해.
• 주목 통계를 활용하여 채널 중요도를 평가하여 깊이 있는 모델에서 프루닝 효율성을 향상시키고 계산 비용을 감소시키기 위해.
• 자원이 제한된 엣지 추론 환경에서 높은 모델 압축률을 달성하면서 정확도 저하를 최소화하기 위해.

제안 방법

• 이 방법은 네트워크 전반에서 개별 채널의 중요도를 평가하기 위해 주목 기반 기준을 도입한다.
• 특징 맵 기여도를 정량화하고 프루닝 결정을 안내하기 위해 각 채널별 주목 통계를 계산한다.
• 단일 글로벌 압축률을 모든 계층에 균일하게 적용하여 계층별 별도의 비율 튜닝이 필요 없도록 한다.
• 이전 학습 파이프라인에 원활하게 통합되어 프루닝 후 종단 간 최적화를 가능하게 한다.
• 주목 기반 메트릭은 특징 맵 활성화에서 유도되며, 중요도가 낮은 채널을 순위 매기고 제거하는 데 사용된다.

실험 결과

연구 질문

• RQ1 딥 신경망에서 주목 통계를 효과적으로 채널 중요도 평가에 활용할 수 있는가?
• RQ2 모든 계층에 걸쳐 단일 글로벌 압축률을 사용하여 효율적이고 정확한 프루닝을 달성할 수 있는가?
• RQ3 제안된 방법이 벤치마크 데이터셋에서 높은 정확도를 유지하면서 모델 파라미터와 FLOPs를 상당히 감소시키는가?
• RQ4 기존의 채널 프루닝 기법과 비교해 볼 때 이 방법은 압축 효율성과 정확도 유지 측면에서 어떻게 성능을 내는가?

주요 결과

• PCAS는 CIFAR-10에서 ResNet-50에 대해 90.8%의 모델 파라미터 감소를 달성하면서 정확도 저하가 단지 1%에 그쳤다.
• 이 방법은 CIFAR-10 벤치마크에서 경쟁적인 성능을 유지하면서 FLOPs를 79.4% 감소시켰다.
• 단일 글로벌 압축률의 사용은 프루닝 과정을 단순화하고 튜닝 오버헤드를 감소시켰다.
• 주목 기반 메트릭은 불필요한 채널을 효과적으로 식별하여 최소한의 정확도 저하로 높은 압축률을 달성하는 데 기여했다.