[논문 리뷰] PCAS: Pruning Channels with Attention Statistics for Deep Network Compression

Kohei Yamamoto, Kurato Maeno|arXiv (Cornell University)|2018. 06. 14.

Advanced Neural Network Applications참고 문헌 31인용 수 34

한 줄 요약

이 논문은 주어진 사전 훈련된 모델에서 주어진 경량 주의 모듈을 훈련시켜 층 간 압축 비율 조정 없이도 중복된 채널을 자동으로 식별하고 제거할 수 있는 채널 프루닝 방법인 PCAS를 제안한다. 이는 VGG, ResNet, MobileNet 및 SegNet에서 CIFAR, ImageNet 및 CamVid 데이터셋에 대해 최대 60%의 채널 감소와 1.5% 이내의 상위 1위 정확도 손실을 기록하며 뛰어난 정확도와 효율성을 달성한다.

ABSTRACT

Compression techniques for deep neural networks are important for implementing them on small embedded devices. In particular, channel-pruning is a useful technique for realizing compact networks. However, many conventional methods require manual setting of compression ratios in each layer. It is difficult to analyze the relationships between all layers, especially for deeper models. To address these issues, we propose a simple channel-pruning technique based on attention statistics that enables to evaluate the importance of channels. We improved the method by means of a criterion for automatic channel selection, using a single compression ratio for the entire model in place of per-layer model analysis. The proposed approach achieved superior performance over conventional methods with respect to accuracy and the computational costs for various models and datasets. We provide analysis results for behavior of the proposed criterion on different datasets to demonstrate its favorable properties for channel pruning.

연구 동기 및 목표

• 딥 네트워크의 채널 프루닝에서 각 층 간 수동적인 압축 비율 조정 문제를 해결하기 위해.
• 각 층의 하이퍼파라미터 조정이 필요 없는 자동화된, 모델 독립적인 채널 프루닝 방법을 개발하기 위해.
• 주의 통계를 활용하여 채널 중요도를 평가함으로써 프루닝의 효율성과 정확도를 향상시키기 위해.
• 자원 제약이 있는 임베디드 장치에 배포하기 위한 깊이 신경망의 효과적인 압축을 가능하게 하기 위해.

제안 방법

• 사전 훈련된 네트워크의 각 대상 합성곱 또는 완전 연결 층 앞에 주의 모듈을 부착하여 채널 중요도를 추정한다.
• 사전 훈련된 모델과 주의 모듈의 출력을 통해 역전파를 이용해 한 번의 훈련으로 주의 모듈을 훈련시킨다.
• 주의 모듈의 출력을 사용하여 배치 전체에서 각 채널의 상대적 중요도를 나타내는 주의 통계를 계산한다.
• 각 채널의 주의 통계에 기반해 단일 글로벌 압축 비율을 적용하여 채널을 프루닝함으로써 층 별로 별도의 조정이 필요 없도록 한다.
• 정확도 복구를 위해 프루닝 후 동일한 훈련 프rotocol을 모든 모델과 데이터셋에 동일하게 적용하여 피니어 투닝을 수행한다.
• 누적 주의 통계를 기반으로 한 임계값 기반 메커니즘을 사용하여 중요도가 낮은 채널을 식별하고 제거한다.

실험 결과

연구 질문

• RQ1 주어진 층 간 압축 비율 조정 없이 주의 통계가 깊이 신경망 내 중복 채널을 효과적으로 식별할 수 있는가?
• RQ2 기존의 프루닝 기준과 비교해 제안된 주의 기반 기준은 정확도와 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 주의 기반 중요도 평가를 사용할 경우, 단일 글로벌 압축 비율이 깊이 신경망의 모든 층에 효과적으로 적용될 수 있는가?
• RQ4 VGG, ResNet, MobileNet 등의 다양한 아키텍처와 CIFAR, ImageNet, CamVid 등의 다양한 데이터셋에 대해 이 방법은 얼마나 일반화되는가?
• RQ5 주의 통계는 훈련된 모델에서 채널의 중복성과 클래스별 반응에 대해 어떤 통찰을 제공하는가?

주요 결과

• PCAS는 ImageNet에서 VGG-16과 ResNet-50에 대해 최대 60%의 채널 감소를 기록했으며, 상위 1위 정확도 손실은 1.5%에 그쳤다.
• 여러 모델과 데이터셋에서 전통적인 프루닝 기법에 비해 정확도와 계산 비용 측면에서 모두 뛰어난 성능을 보였다.
• 주의 통계는 모든 클래스에 대해 약한 반응을 보이는 채널이 우선적으로 프루닝됨을 드러내어 효과적인 중복성 탐지가 가능함을 시사한다.
• 높은 압축 비율에서도 높은 성능을 유지했으며, VGG-16과 ResNet-50는 각각 압축 비율 0.50과 0.45까지 정확도를 유지했다.
• 분석 결과 깊이 있는 층, 특히 VGG의 경우 주의 통계가 극도로 비대칭이므로 더 많은 중복 채널을 포함하고 있음을 확인했다.
• 주의 메커니즘이 클래스별 반응 패턴을 성공적으로 포착했으며, 특정 클래스에 대해 약한 반응을 보이는 채널들이 프루닝 대상으로 식별되었다.