[논문 리뷰] Methods for Pruning Deep Neural Networks

Sunil Vadera, Salem Ameen|arXiv (Cornell University)|2020. 10. 31.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 딥 네ural 네트워크를 위한 150개 이상의 프루닝 방법을 조사하며, 이를 크기 기반 프루닝, 군집 기반 중복성 식별, 민감도 분 析 기반 접근법으로 분류한다. ImageNet과 CIFAR-10 등의 데이터셋에서 AlexNet, ResNet, VGG 등의 아키텍처를 대상으로 비교 분석을 수행하여, 일부 방법이 정확도 저하를 최소화하면서도 높은 압축률을 달성함을 보여주며, 연구자들이 프루닝 효과를 비교할 수 있도록 통합된 참고 자료를 제공한다.

ABSTRACT

This paper presents a survey of methods for pruning deep neural networks. It begins by categorising over 150 studies based on the underlying approach used and then focuses on three categories: methods that use magnitude based pruning, methods that utilise clustering to identify redundancy, and methods that use sensitivity analysis to assess the effect of pruning. Some of the key influencing studies within these categories are presented to highlight the underlying approaches and results achieved. Most studies present results which are distributed in the literature as new architectures, algorithms and data sets have developed with time, making comparison across different studied difficult. The paper therefore provides a resource for the community that can be used to quickly compare the results from many different methods on a variety of data sets, and a range of architectures, including AlexNet, ResNet, DenseNet and VGG. The resource is illustrated by comparing the results published for pruning AlexNet and ResNet50 on ImageNet and ResNet56 and VGG16 on the CIFAR10 data to reveal which pruning methods work well in terms of retaining accuracy whilst achieving good compression rates. The paper concludes by identifying some promising directions for future research.

연구 동기 및 목표

• 딥 네럴 네트워크 프루닝에 관한 150개 이상의 연구를 그들의 기초가 되는 방법론에 따라 체계적으로 정리하고 분류하기.
• 다양한 아키텍처와 데이터셋 간의 프루닝 결과 비교를 용이하게 하기 위해 연구 결과를 통합된 자료로 정리하기.
• 모델 정확도를 유지하면서도 높은 압축률을 달성하는 고성능 프루닝 기법을 식별하기.
• 미래의 연구 방향으로서 구조적 및 비구조적 프루닝 분야에서 유망한 연구 방향을 도출하기.

제안 방법

• 크기 기반 프루닝, 군집 기반 중복성 탐지, 민감도 분석 기반 프루닝으로 나누어 프루닝 방법을 주요 유형으로 분류하기.
• 각 유형 내 핵심 연구들을 체계적으로 검토하고 분석하여 핵심 원리와 성능 결과를 설명하기.
• ResNet50, VGG16, ResNet56 등의 다양한 모델과 ImageNet, CIFAR-10 등의 데이터셋에서 발표된 프루닝 결과를 수집하여 직접 비교 가능하도록 정리하기.
• 민감도 분 析를 활용해 개별 가중치나 채널을 프루닝했을 때 정확도에 미치는 영향 평가하기.
• 군집 기법을 적용해 유사한 가중치를 그룹화하고 제거 가능한 중복 파라미터 식별하기.
• 표준 벤치마크에서 정확도 상위 1위 정확도 및 모델 크기 감소율 등의 지표를 통해 프루닝 효과 평가하기.

실험 결과

연구 질문

• RQ1 다양한 아키텍처에서 모델 압축과 정확도 유지 간 최적의 트레이드오프를 달성하는 프루닝 방법은 무엇인가?
• RQ2 크기 기반, 군집 기반, 민감도 기반 프루닝 접근법은 성능 및 일반화 능력 측면에서 어떻게 비교될 수 있는가?
• RQ3 ImageNet과 CIFAR-10에서 인기 있는 모델인 ResNet50과 VGG16에 가장 효과적인 프루닝 전략은 무엇인가?
• RQ4 다양한 네트워크 아키텍처와 데이터셋 간에 프루닝 결과는 어떻게 달라지는가?
• RQ5 딥 러닝 분야에서 프루닝 기법을 발전시키기 위해 가장 유망한 미래 연구 방향은 무엇인가?

주요 결과

• 크기 기반 프루닝 방법은 정확도 저하를 최소화하면서도 높은 압축률을 지속적으로 달성하며, 특히 피니튜닝과 조합할 경우 효과가 더욱 높다.
• 군집 기반 접근법은 중복 파라미터를 효과적으로 식별하여 하드웨어 호환성이 뛰어난 구조적 프루닝을 가능하게 한다.
• 민감도 분석은 비핵심 가중치를 식별함으로써 타겟팅된 프루닝을 가능하게 하여, 압축 과정에서 정확도 유지에 기여한다.
• ImageNet에서 ResNet50에 고도의 프루닝 기법을 적용하면 정확도 상위 1위가 90% 이상 유지되면서 모델 크기를 50% 이상 감소시킬 수 있다.
• CIFAR-10에서 VGG16과 ResNet56는 최신 기법을 사용해 원래 크기의 10~20%로 압축해도 정확도 저하가 1% 미만으로 유지된다.
• 본 연구는 다양한 아키텍처와 데이터셋에서 다수의 프루닝 전략을 융합한 하이브리드 접근법이 가장 뛰어난 성능을 보임을 규명했다.