[논문 리뷰] Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN

Xiaohan Ding, Tianxiang Hao외 3명|arXiv (Cornell University)|2021. 07. 30.

Advanced Neural Network Applications참고 문헌 90인용 수 4

한 줄 요약

이 논문은 깊이 있는 CNN에서 필터의 동일한 재현성(중복성)을 유도하기 위해 필터를 클러스터링하고 역전파 중에 동일한 값으로 수렴하도록 유도하는 새로운 훈련 방법인 Centripetal SGD(C-SGD)를 제안한다. 순수한 중복 필터를 생성함으로써 C-SGD는 피니팅 없이도 한 번의 단계로 정확도를 유지한 채 프루닝을 가능하게 하며, CIFAR-10, ImageNet 및 ResNet/DenseNet 아키텍처에서 최신 기술 수준의 성능을 달성한다. 계산 비용은 최소한이다.

ABSTRACT

The existence of redundancy in Convolutional Neural Networks (CNNs) enables us to remove some filters/channels with acceptable performance drops. However, the training objective of CNNs usually tends to minimize an accuracy-related loss function without any attention paid to the redundancy, making the redundancy distribute randomly on all the filters, such that removing any of them may trigger information loss and accuracy drop, necessitating a following finetuning step for recovery. In this paper, we propose to manipulate the redundancy during training to facilitate network pruning. To this end, we propose a novel Centripetal SGD (C-SGD) to make some filters identical, resulting in ideal redundancy patterns, as such filters become purely redundant due to their duplicates; hence removing them does not harm the network. As shown on CIFAR and ImageNet, C-SGD delivers better performance because the redundancy is better organized, compared to the existing methods. The efficiency also characterizes C-SGD because it is as fast as regular SGD, requires no finetuning, and can be conducted simultaneously on all the layers even in very deep CNNs. Besides, C-SGD can improve the accuracy of CNNs by first training a model with the same architecture but wider layers then squeezing it into the original width.

연구 동기 및 목표

• 스킵 연결과 밀집 블록을 포함한 매우 깊고 복잡한 CNN에서 표준 프루닝 방법이 필터 중요도의 비균일성으로 인해 성능 저하를 일으킬 수 있는 제약 조건이 있는 필터 프루닝 문제를 해결하기 위해.
• 피니팅이 필요 없도록 순수한 중복 필터를 생성하여 제거 시 성능 손실가 없는 프루닝을 가능하게 하기 위해.
• 소규모 노름 정규화에 의존하는 대신 이상적인 동일 필터 패턴으로 재현성을 조직함으로써 필터 프루닝의 효율성과 효과를 향상시키기 위해.
• 매우 깊은 네트워크에서 모든 레이어를 동시에 전역적으로 프루닝할 수 있도록 하여 레이어별 또는 필터별 프루닝 전략의 한계를 극복하기 위해.
• 구조적 재현성이 훈련 수렴과 모델 성능 향상에 기여할 수 있는지 탐색하고, 성능 향상을 위한 새로운 훈련 철학인 '스케일링 및 스que이징(Scaling and Squeezing)'을 제안하기 위해.

제안 방법

• C-SGD는 각 클러스터 내 필터 간 제곱 편차의 합을 최소화함으로써 필터 클러스터링을 강제하는 수정된 손실 함수를 도입한다.
• 역전파 중에 각 필터 클러스터의 중심 갱신을 계산하기 위해 가속 가능한 평균 행렬 $\bm{\Gamma}$ 와 감쇠 행렬 $\bm{\Lambda}$ 를 사용한다.
• 초기화된 하이퍼파라미터 $\epsilon$ 를 통해 중심 방향의 힘(중심력)을 적용하여 각 클러스터 내 필터가 일정한 속도로 평균 값으로 수렴하도록 하며, 이는 동일한 가중치로 수렴하는 것을 보장한다.
• 알고리즘은 표준 SGD 훈련에 통합되며, 각 레이어당 반복마다 추가로 두 번의 행렬 곱셈만 수행하므로 계산 비용이 극히 낮다.
• 재현성 패턴은 훈련 중에 생성되므로, 훈련 후 즉시 피니팅 단계 없이 프루닝을 수행할 수 있다.
• 이 방법은 엔드 투 엔드 훈련 및 프루닝을 지원하며, ResNet-164 및 DenseNet-121와 같은 깊은 네트워크의 모든 레이어를 동시에 프루닝할 수 있다.

실험 결과

연구 질문

• RQ1 훈련 중에 동일한 필터 재현성을 유도하면 깊이 있는 CNN에서 피니팅 없이도 한 번의 단계로 손실 없는 프루닝이 가능한가?
• RQ2 스킵 연결과 밀집 블록으로 인해 제약 조건이 있는 프루닝이 어려운 ResNet 및 DenseNet과 같은 복잡한 아키텍처에서 C-SGD는 어떻게 성능을 내는가?
• RQ3 소규모 노름 재현성(예: 그룹-Lasso)에 비해 동일한 필터 재현성 패턴이 프루닝 효율성과 정확도 유지 측면에서 뛰어나다고 할 수 있는가?
• RQ4 C-SGD는 모든 레이어를 동시에 전역적으로 적용할 수 있으며, 매우 깊은 네트워크에서 정확도를 유지하거나 향상시키는가?
• RQ5 스케일링 및 스케이징 전략—C-SGD를 사용해 더 넓은 모델을 훈련하고 원래 너비로 프루닝하는 방식—은 최종 정확도 향상에 기여하는가?

주요 결과

• C-SGD는 ResNet-164와 DenseNet-121에서 모든 레이어를 동시에 프루닝해도 정확도 저하 없이 한 번의 단계로 프루닝을 수행할 수 있으며, 매우 깊은 네트워크에서의 강건성을 입증한다.
• CIFAR-10에서 C-SGD는 ResNet-56을 2배 너비로 프루닝한 후에도 76.25%의 top-1 정확도를 달성하여, 피니팅이 필요한 기존 방법들보다 뛰어나며 정확도 손실이 없는 것으로 나타났다.
• ImageNet에서 C-SGD는 ResNet-56을 2배 너비로 프루닝한 후 75.88%의 top-1 정확도를 기록하여, 유사한 설정에서 오차 증가가 더 큰 기준 방법들(0.94 대비 0.74)을 뛰어넘었다.
• 이 방법은 계산적으로 효율적이다: 훈련 속도는 표준 SGD와 거의 동일하며, 대부분의 이전 방법들과 달리 피니팅이 필요 없다.
• C-SGD는 중심력 강도 $\epsilon$ 에 대해 강건하며, $\epsilon = 1\times 10^{-3}$, $2\times 10^{-3}$, $1\times 10^{-2}$ 에서 수렴성과 성능이 안정되어 있다.
• 스케일링 및 스케이징 전략—C-SGD를 사용해 더 넓은 모델을 훈련하고 원래 너비로 프루닝하는 방식—은 최종 정확도를 향상시키며, 재현성이 수렴성과 일반화에 기여할 수 있음을 시사한다.