[논문 리뷰] SCSP: Spectral Clustering Filter Pruning with Soft Self-adaption Manners

Huiyuan Zhuo, Xuelin Qian외 3명|arXiv (Cornell University)|2018. 06. 14.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 32

한 줄 요약

이 논문은 스펙트럴 클러스터링을 사용해 부적절한 필터를 그룹화하고, 소프트 자기적응을 통해 반복적으로 중요도가 낮은 그룹을 제거하면서도 미세조정을 수행하는, CNN 압축을 위한 새로운 필터 프루닝 방법인 SCSP를 제안한다. LeNet-5에서 정확도 저하 없이 최대 18.13%의 파라미터 감소와 6.42%의 FLOPs 감소를 달성하며 최신 기술 수준(SOTA) 성능을 확보한다. 그룹 수준의 프루닝과 반복적 필터 업데이트를 통해 모델 용량을 유지한다.

ABSTRACT

Deep Convolutional Neural Networks (CNN) has achieved significant success in computer vision field. However, the high computational cost of the deep complex models prevents the deployment on edge devices with limited memory and computational resource. In this paper, we proposed a novel filter pruning for convolutional neural networks compression, namely spectral clustering filter pruning with soft self-adaption manners (SCSP). We first apply spectral clustering on filters layer by layer to explore their intrinsic connections and only count on efficient groups. By self-adaption manners, the pruning operations can be done in few epochs to let the network gradually choose meaningful groups. According to this strategy, we not only achieve model compression while keeping considerable performance, but also find a novel angle to interpret the model compression process.

연구 동기 및 목표

• 높은 계산 및 메모리 비용으로 인해 자원이 제한된 엣지 디바이스에 깊은 CNN을 구현하는 데 도전하는 문제를 해결하기 위해.
• 기존의 필터 프루닝 방법이 필터를 개별적으로 다루는 데서 비롯되는 한계를 극복하기 위해, 필터 간 내재된 상관관계를 활용하기 위해.
• 특징 그룹의 일관성을 유지하고 재학습 중 빠른 수렴을 가능하게 하기 위해 구조적인 프루닝 접근법을 개발하기 위해.
• 스펙트럴 클러스터링 기반으로 필터를 군집화하여 더 해석 가능하고 효과적인 모델 압축 메커니즘을 제공하기 위해.

제안 방법

• 필터 유사도를 기반으로 각 레이어별로 스펙트럴 클러스터링을 적용하여 관련된 필터 그룹을 형성하고, 프루닝 문제를 그래프 분할 문제로 변환하기 위해.
• 필터 유사도에서 유도된 라플라시안 행렬을 사용해 고유벡터를 계산하고, 이를 k-means를 통해 클러스터링하여 관련 필터 그룹을 형성하기 위해.
• 가중치 기반 중요도 점수를 사용해 최종 출력에 기여도가 낮은 필터 그룹을 순위 매기고, 영향력이 낮은 그룹을 전체적으로 제거하기 위해.
• 재학습 중에 반복적으로 프루닝된 필터를 업데이트함으로써 소프트 자기적응을 구현하여 모델 정확도를 유지하기 위해.
• 점진적이고 적응적인 부적절한 필터 그룹 제거를 가능하게 하기 위해 프루닝 과정을 학습 루프에 통합하기 위해.
• 필터의 내재된 구조를 활용하여 부적절성 감소를 줄이고 중요한 특징 표현을 유지하기 위해.

실험 결과

연구 질문

• RQ1 스펙트럴 클러스터링이 필터의 내재된 구조적 관계를 포괄함으로써, CNN 레이어 내에서 부적절한 필터 그룹을 효과적으로 식별할 수 있는가?
• RQ2 개별 필터가 아닌 관련된 필터 그룹 전체를 프루닝하는 것이, 정확도 저하를 최소화하면서 더 나은 모델 압축을 이끌어낼 수 있는가?
• RQ3 특히 더 깊은 네트워크에서, 재학습 중 소프트 자기적응이 그룹 프루닝 이후 성능 복구에 효과적으로 기여할 수 있는가?
• RQ4 기존의 필터 프루닝 기준 대비, 파라미터 감소, FLOPs 감소, 정확도 유지 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 프루닝 비율 0.4로 LeNet-5를 처리한 결과, SCSP는 18.13%의 파라미터 감소와 6.42%의 FLOPs 감소를 달성했으며, 테스트 정확도 71.09%를 유지했다. 이는 CGES가 1.04% 정확도를 상실한 것과 비교해 뛰어난 성능이다.
• ResNet-32에서 SCSP는 12.10%의 파라미터 프루닝과 11.3%의 FLOPs 감소를 달성했으며, 정확도 저하가 0.04%에 불과했다. 이는 더 깊은 아키텍처에서의 효과성을 입증한다.
• 스펙트럴 클러스터링을 통해 필터 그룹 간 상관관계를 유지함으로써 빠른 수렴과 더 나은 일반화 성능을 달성했다.
• 제거 실험 결과, 가장 중요한 필터들이 깊은 레이어(예: fc1)에 집중되어 있음을 확인하여, 방법의 해석 가능성과 필터 중요도 순위 매기기의 타당성을 검증했다.
• FLOPs 및 파라미터 희박성 곡선은 반복적 업데이트와 그룹 기반 프루닝 결정으로 인해 미세한 변동이 있었지만 점진적인 감소를 보였다.
• 심각한 프루닝 이후에도 모델 용량을 유지함으로써 강력한 내성과 효과적인 부적절성 제거 능력을 입증했다.