[논문 리뷰] Taxonomy and Evaluation of Structured Compression of Convolutional Neural Networks

Andrey Kuzmin, Markus Nagel외 4명|arXiv (Cornell University)|2019. 12. 20.

Tensor decomposition and applications참고 문헌 47인용 수 15

한 줄 요약

이 논문은 데이터 및 계산 요구 사항을 기반으로 삼중 계층 분류 체계를 제안하며, ImageNet에서 SVD, 텐서 분해, 채널 프루닝, 확률적 방법을 평가한다. SVD와 확률적 프루닝은 상호보완적이며, 이들의 조합이 가장 뛰어난 성능을 보이며, 사전 학습된 모델을 압축하는 것이 처음부터 작은 모델을 학습하는 것보다 더 우수한 성능을 낸다는 것을 입증한다.

ABSTRACT

The success of deep neural networks in many real-world applications is leading to new challenges in building more efficient architectures. One effective way of making networks more efficient is neural network compression. We provide an overview of existing neural network compression methods that can be used to make neural networks more efficient by changing the architecture of the network. First, we introduce a new way to categorize all published compression methods, based on the amount of data and compute needed to make the methods work in practice. These are three 'levels of compression solutions'. Second, we provide a taxonomy of tensor factorization based and probabilistic compression methods. Finally, we perform an extensive evaluation of different compression techniques from the literature for models trained on ImageNet. We show that SVD and probabilistic compression or pruning methods are complementary and give the best results of all the considered methods. We also provide practical ways to combine them.

연구 동기 및 목표

• 구조적 신경망 압축 기법을 비교하기 위한 체계적인 프레임워크 부족 문제를 해결하기 위해.
• 대규모 이미지 분류 작업에서 SVD, 텐서 분해, 채널 프루닝, 확률적 방법 등의 다양한 압축 기법의 효과성을 평가하기 위해.
• 사전 학습된 모델을 압축하는 것이 처음부터 작은 모델을 학습하는 것보다 더 좋은 성능을 내는지 조사하기 위해.
• 압축 비율 최적화 시 사전 피니팅 정확도를 사후 피니팅 정확도의 대체 지표로 사용하는 것이 타당한지 평가하기 위해.
• 성능과 효율성을 극대화하기 위해 압축 기법을 조합하는 데 실용적인 지침을 제공하기 위해.

제안 방법

• 데이터 없이, 피니팅 없이 수행 가능한 3단계 압축 프레임워크를 제안: 수준 1(데이터 불필요, 피니팅 없음), 수준 2(데이터 최적화, 백프로파게이션 없음), 수준 3(백프로파게이션을 통한 완전한 피니팅).
• 공간 SVD 및 CP-분해를 포함한 SVD 기반 방법을 사용해 컨볼루션 커널의 저랭크 근사화를 평가한다.
• 비대칭 공식화 및 GSVD를 활용한 레이어별 최적화 기법을 적용해 근사 정확도를 향상시킨다.
• 확률적 압축 기법(예: VIBNet, L0 프루닝)에서 변동형 추론과 L0 정규화를 사용해 구조적 희소성을 가능하게 한다.
• 초기 압축 비율 할당을 위해 특이값 기반의 근사 전략을 사용한다.
• 50개의 변형된 압축 모델을 대상으로 사전 피니팅 및 사후 피니팅 정확도를 비교함으로써 대체 정확도 가정의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 다양한 구조적 압축 기법이 압축 수준 3단계에서 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ2 압축 비율 최적화 시 사전 피니팅 정확도가 사후 피니팅 정확도의 신뢰할 수 있는 대체 지표인가?
• RQ3 SVD, 텐서 분해, 프루닝, 또는 확률적 방법 중 어느 기법이 다양한 압축 비율에서 가장 뛰어난 성능을 내는가?
• RQ4 SVD와 확률적 프루닝 기법을 조합하면 개별 기법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 큰 사전 학습된 모델을 압축하는 것이 처음부터 작은 모델을 학습하는 것보다 더 좋은 성능을 내는가? 이는 로또 티켓 가설을 지지하는가?

주요 결과

• SVD 기반 압축, 특히 GSVD 최적화를 적용한 공간 SVD는 수준 1과 수준 3에서 다른 기법보다 뛰어나며, 특히 높은 압축 비율에서 유의미한 성능 향상을 보인다.
• VIBNet 및 L0 프루닝과 같은 확률적 방법은 수준 3에서 중간 압축 비율에서 최고의 결과를 내며, 높은 정확도 유지 성능을 보인다.
• 사전 피니팅 정확도와 사후 피니팅 정확도 간에 유의미한 상관관계가 없어, 사전 피니팅 정확도를 최적화의 대체 지표로 사용하는 공통 가정이 잘못되었음을 입증한다.
• VIBNet과 공간 SVD의 조합이 모든 모델 및 압축 수준에서 가장 뛰어난 종합 성능을 보이며, 상호보완성을 입증한다.
• 더 큰 사전 학습된 모델(예: ResNet-18)의 수준 3 압축은 처음부터 작은 모델을 학습하는 것보다 더 높은 정확도를 달성하며, 이는 로또 티켓 가설을 지지한다.
• 제안된 삼중 계층 분류 체계는 실용적 요구 조건에 따라 압축 기법을 효과적으로 구분하며, 더 명확한 비교 및 선택을 가능하게 한다.