[논문 리뷰] Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks

Yunxiang Zhang, Chenglong Zhao외 3명|arXiv (Cornell University)|2019. 08. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 5

한 줄 요약

이 논문은 깊은 컨volution 네트워크에서 유사도 기반 채널 프루닝 방법을 제안하며, 유사한 활성화 패턴을 가진 채널을 군집화하여 부용한 기능 채널을 식별하고 제거한다. 확률적 거리 측정법을 사용해 안정성을 확보한다. 이 방법은 ResNet-50에서 30% FLOPs 감소와 함께 이미지넷에서 최신 기술 수준의 가속 성능을 달성하며, Top-5 정확도는 0.34% 감소한다.

ABSTRACT

To address the limitations of existing magnitude-based pruning algorithms in cases where model weights or activations are of large and similar magnitude, we propose a novel perspective to discover parameter redundancy among channels and accelerate deep CNNs via channel pruning. Precisely, we argue that channels revealing similar feature information have functional overlap and that most channels within each such similarity group can be removed without compromising model's representational power. After deriving an effective metric for evaluating channel similarity through probabilistic modeling, we introduce a pruning algorithm via hierarchical clustering of channels. In particular, the proposed algorithm does not rely on sparsity training techniques or complex data-driven optimization and can be directly applied to pre-trained models. Extensive experiments on benchmark datasets strongly demonstrate the superior acceleration performance of our approach over prior arts. On ImageNet, our pruned ResNet-50 with 30% FLOPs reduced outperforms the baseline model.

연구 동기 및 목표

• 높은 가중치/활성화 유사도 상황에서 크기 기반 프루닝의 한계를 해결하기 위해, 크기의 변동성이 부족한 경우에 실패하는 문제를 해결한다.
• 크기 기반이 아닌 기능 표현 유사도를 통해 채널 간의 기능적 중복성을 식별한다.
• 재학습이나 희소성 제약 조건 없이 사전 훈련된 모델에 직접 적용 가능한 데이터에 의존하지 않는 안정적인 채널 프루닝 방법을 개발한다.
• 부용한 채널을 제거하면서도 표현 능력을 유지함으로써 효율적이고 일반화 가능한 모델 가속화를 가능하게 한다.
• 활성화 기반 거리 계산의 불안정성을 극복하기 위해 채널 유사도 추정을 위한 확률적 모델링 접근법을 도입한다.

제안 방법

• 기능 채널 간의 기대 평균 제곱오차에서 유도된 확률적 거리 측정법을 사용해 채널 유사도를 정의함으로써 데이터 의존성을 감소시킨다.
• 가우스 분포를 가정하여 활성화 차이의 기대값을 통해 채널 거리를 추정함으로써, 데이터에 의존하지 않는 안정적인 유사도 계산을 가능하게 한다.
• 유사한 채널을 군집화하기 위해 계층적 군집화를 적용하며, 정규화된 거리 행렬에 대한 전역 임계값을 통해 프루닝을 이끌어낸다.
• 층 간 거리 행렬을 정규화하여 네트워크 깊이 전반에 걸쳐 프루닝 균형을 유지하고 상부 층에서의 과도한 프루닝을 방지한다.
• 계층적 군집화 결과를 바탕으로 중복 채널의 전체 클러스터를 제거하고, 각 그룹에서 하나의 대표 채널만 유지한다.
• 재튜닝이나 희소성 정규화 없이 사전 훈련된 모델에 직접 적용하여 즉각적인 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 크기 기반 방법이 아닌 기능 표현 유사도를 통해 채널의 중복성을 효과적으로 식별할 수 있는가?
• RQ2 데이터에 의존하지 않는 확률적 모델링 기반 거리 측정법이 활성화 기반 거리 계산보다 더 안정적이고 신뢰할 수 있는 프루닝을 제공하는가?
• RQ3 유사한 채널을 계층적 군집화함으로써 크기 기반 또는 히우리스틱 프루닝보다 더 나은 FLOPs 감소와 최소한의 정확도 손실을 달성할 수 있는가?
• RQ4 거리 행렬의 정규화가 네트워크 층 전반에 걸친 프루닝 균형과 전체 모델 성능에 어떤 영향을 미치는가?
• RQ5 이 방법을 재학습이나 아키텍처 수정 없이 얼마나 효율적으로 사전 훈련된 모델을 가속화할 수 있는가?

주요 결과

• 제안된 방법은 이미지넷에서 ResNet-50에서 45.90% FLOPs 감소와 함께 0.34%의 Top-5 정확도 감소를 기록하며, 5개의 경쟁자 전부를 능가한다.
• CIFAR-10에서 이 방법은 FLOPs를 80% 감소시키며 정확도 저하가 최소화되었고, 다양한 입력 배치에서 안정적인 성능을 유지한다.
• 확률적 거리 추정 방법은 활성화 기반 거리 측정법과 거의 동일한 평균 성능를 보였지만, 분산과 불안정성이 크게 감소했다.
• 거리 행렬의 정규화는 상부 층에서의 과도한 프루닝을 방지하고 균형 잡힌 효율적인 아키텍처 압축을 가능하게 한다.
• 이 방법은 고비율 프루닝과 작은 배치 크기에서도 활성화 기반 방법이 불안정성으로 실패하는 상황에서도 뛰어난 성능을 유지한다.
• 계층적 군집화 접근법은 표현 능력에 거의 영향을 주지 않으면서도 효과적으로 중복 채널을 식별하고 제거했으며, 다양한 벤치마크에서 일관된 정확도로 확인되었다.