[논문 리뷰] A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations

Hongrong Cheng, Miao Zhang외 1명|arXiv (Cornell University)|2023. 08. 13.

Advanced Neural Network Applications인용 수 23

한 줄 요약

깊은 신경망 가지치기에 대한 포괄적 고찰로, 분류 체계를 제안하고 가지치기 패러다임 간 비교 분석을 수행하며, 권고사항과 향후 방향을 제시한다.

ABSTRACT

Modern deep neural networks, particularly recent large language models, come with massive model sizes that require significant computational and storage resources. To enable the deployment of modern models on resource-constrained environments and accelerate inference time, researchers have increasingly explored pruning techniques as a popular research direction in neural network compression. However, there is a dearth of up-to-date comprehensive review papers on pruning. To address this issue, in this survey, we provide a comprehensive review of existing research works on deep neural network pruning in a taxonomy of 1) universal/specific speedup, 2) when to prune, 3) how to prune, and 4) fusion of pruning and other compression techniques. We then provide a thorough comparative analysis of eight pairs of contrast settings for pruning and explore emerging topics, including pruning for large language models, large multimodal models, post-training pruning, and different supervision levels for pruning to shed light on the commonalities and differences of existing methods and lay the foundation for further method development. To facilitate future research, we build a curated collection of datasets, networks, and evaluations on different applications. Finally, we provide valuable recommendations on selecting pruning methods and prospect several promising research directions. We build a repository at https://github.com/hrcheng1066/awesome-pruning.

연구 동기 및 목표

• 속도 향상의 보편성, 타이밍, 그리고 기준 또는 학습 기반 가지치기를 포괄하는 딥 뉴럴 네트워크 가지치기의 통합 분류 체계를 제공한다.
• 일곱 쌍의 가지치기 설정(비구조적 vs 구조적, 일회성 vs 반복적, 데이터-프리 vs 데이터 기반, 초기화된 vs 사전학습된)을 비교하고 그 함의를 분석한다.
• 가지치기-전 훈련, 가지치기-중 훈련, 가지치기-후 훈련, 및 동적 런타임 가지치기를 검토하여 실무 파이프라인을 명확히 한다.
• 실무자들을 안내하기 위해 가지치기 응용, 데이터셋, 네트워크, 평가 벤치마크를 요약한다.
• 방법 선택에 대한 권고를 제시하고 신경망 가지치기 연구의 유망한 방향을 강조한다.

제안 방법

• 세 가지 질문을 중심으로 구성된 분류 체계를 개발한다: 보편적 속도 향상 대 특정 속도 향상, 언제 가지치기를 할지(훈련 전/중/후, 정적 대 동적), 가지치기 기준 대 학습 주도 접근법.
• 비구조적, 반구조적, 구조적 가지치기에 대한 형식적 정의와 분류를 제공하며, 가지치기 마스크, 계층별 대 전역 가지치기, 동적 대 정적 가지치기의 개념을 포함한다.
• 이전 연구의 대표적인 가지치기 방법과 실험 구성을 분석하며, 데이터 프리와 데이터 기반 기준, 희소성 규제, 그리고 동적 희소 학습 패러다임을 포함한다.
• 여러 가지 가지치기 패러다임 간의 비교 분석을 종합하고 훈련, 추론, 하드웨어 호환성에 미치는 영향을 논의한다.
• 응용, 데이터셋, 네트워크, 평가 자원을 엄선하고 오픈 소스 가지치기 논문과 코드의 온라인 저장소를 유지한다.

Figure 1: The number of papers for neural network pruning and compression from 1988-2022.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 가지치기 방법을 효과적으로 분류하는 핵심 차원은 무엇인가(속도 향상 보편성, 타이밍, 가지치기 기준)?
• RQ2 비구조적, 반구조적, 구조적 가지치기가 다양한 학습 파이프라인에서 성능, 하드웨어 호환성, 정확도 측면에서 어떻게 비교되는가?
• RQ3 훈련 전/중/후 가지치기의 실용적 함의와 정적 대 동적 가지치기를 포함하여 무엇인가?
• RQ4 데이터 프리 대 데이터 기반 가지치기 및 초기화 대 사전 학습된 가중치 가지치기를 비교할 때 어떤 통찰이 나타나는가?
• RQ5 응용 분야 전반에서 가지치기 방법 선택과 향후 연구 방향에 대한 어떤 권고가 도출되는가?

주요 결과

• 가지치기는 비구조적(가중치 단위), 반구조적(패턴 기반), 구조적(거친 단위) 가지치기로 분류될 수 있으며, 보편적 속도 향상은 완전히 구조적 가지치기에서만 달성될 수 있다.
• 정적 가지치기 파이프라인(훈련 전/중/후)과 동적 런타임 가지치기를 대조하며, 각각 효율성과 정확도에서 뚜렷한 트레이드오프가 있다.
• 가지치기 기준(예: 크기, 기울기, 규제 기반 점수)과 학습 기반 가지치기 방법은 서로 다른 장점을 제공하며, 데이터 프리 및 데이터 기반 접근법을 포함한다.
• 폭넓은 가지치기 응용 및 벤치마크를 요약하고, 지속적인 연구를 위한 가지치기 논문과 코드의 저장소를 제공한다.
• 이 연구는 실용적 성능 및 강건성 차이를 밝히기 위해 대조 설정의 일곱 쌍에 걸친 비교 실험을 포함한다.

Figure 2: An overview of the hierarchical structure of the survey.