[논문 리뷰] Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey

Jiayi Liu, Samarth Tripathi외 2명|arXiv (Cornell University)|2020. 05. 08.

Advanced Neural Network Applications참고 문헌 52인용 수 41

한 줄 요약

CNN 가지치기 기법의 에지 배포에 대한 포괄적 연구로, 기준, 절차, 트레이드오프를 다루고, 실용적 도전과제와 향후 방향에 대한 논의를 포함합니다.

ABSTRACT

With the general trend of increasing Convolutional Neural Network (CNN) model sizes, model compression and acceleration techniques have become critical for the deployment of these models on edge devices. In this paper, we provide a comprehensive survey on Pruning, a major compression strategy that removes non-critical or redundant neurons from a CNN model. The survey covers the overarching motivation for pruning, different strategies and criteria, their advantages and drawbacks, along with a compilation of major pruning techniques. We conclude the survey with a discussion on alternatives to pruning and current challenges for the model compression community.

연구 동기 및 목표

• 모델 압축의 필요성을 제시하여 CNN의 에지/IoT 배치를 가능하게 한다.
• 데이터 독립적 대 데이터 기반(데이터 인식) 가지치기 기준을 특징짓고 그 트레이드오프를 설명한다.
• 효과적인 가지치를 위한 가지치기 워크플로우와 반복 학습 전략을 기술한다.
• 에지 설정에서 가지치기의 하드웨어 인식 고려사항과 실용적 한계를 요약한다.

제안 방법

• 가지치기 기준을 데이터 독립적(data-agnostic)과 데이터 인식(data-driven) 카테고리로 분류한다.
• 가지치기, 마스킹, 재훈련을 결합한 반복 가지치기 워크플로우를 설명한다(Algorithm 1 계보).
• 주목도 척도 및 최적화 접근법(L1/L2 노름, 해시안(Hessian) 기반, APG, ADMM 등)을 검토한다.
• 구조적 가지치기와 비구조적 가지치기의 차이와 속도 향상을 위한 구조 인식 가지치기로의 이동을 논의한다.
• 학습 기반 및 RL/NAS 접근법을 통해 가지치기와 압축 예산을 자동화하는 방법을 요약한다.

실험 결과

연구 질문

• RQ1 가장 중요하지 않은 뉴런이나 필터를 손실 없이 식별하는 가장 좋은 가지치기 기준은 무엇인가?
• RQ2 반복 가지치기 절차가 가지치 강도와 재훈련 간의 균형을 어떻게 맞추어 정확도를 회복하는가?
• RQ3 에지 디바이스에 대해 CNN을 가지치할 때 실제 하드웨어에서의 FLOPs, 매개변수, 실제 속도 향상은 무엇인가?
• RQ4 에지 배치를 위한 가지치기와 대체 압축 방법 간의 주요 트레이드오프와 한계는 무엇인가?
• RQ5 에지 AI 가지치기에서 남아 있는 미래 방향과 해결해야 할 과제는 무엇인가?

주요 결과

• 가지치기는 모델 크기와 추론 시간의 큰 감소를 가져올 수 있지만, 실제 하드웨어에서의 속도 향상이 항상 FLOPs 감소와 직접적 상관관계는 아니다.
• 구조적 가지치기(예: 채널/필터/가지치기된 블록)는 비구조적 가중치 가지치기보다 더 현실적인 속도향상을 제공하는 경향이 있는데, 이는 더 나은 하드웨어 활용 때문입니다.
• 데이터 인식 기준(APoZ, 활성화 엔트로피, 신경 중요도 점수 등)은 가지치기 중 정확도 보존을 개선하기 위해 중요성이 커져 왔다.
• 재훈련이 포함된 반복 가지치기가 일반적으로 한 번에 하는 가지치기보다 성능이 우수하지만, 모델과 예산에 따라 처음 학습 대 재훈련의 최적 결과는 달라질 수 있다.
• 에지 디바이스의 실제 자원 활용을 포착하기 위한 하드웨어 인식 및 에너지 인식 가지치기 패러다임의 필요성이 있다.