[논문 리뷰] AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference

Jian-Hao Luo, Jianxin Wu|arXiv (Cornell University)|2018. 05. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 34

한 줄 요약

AutoPruner는 채널 선택과 모델 피지터닝을 하나의 프레임워크에 통합한 엔드 투 엔드 훈련 가능한 필터 프루닝 방법을 제안한다. 기울기 기반 이분법적 코드 생성 레이어를 사용해 중요하지 않은 필터를 자동으로 식별하고 제거한다. 기존 방법보다 더 높은 압축 비율을 달성하면서 최신 기술 수준(SOTA)의 정확도를 확보하며, ImageNet 및 CUB200-2011 데이터셋에서 훈련을 처음부터 시작하는 것보다도 뛰어난 성능을 보인다.

ABSTRACT

Channel pruning is an important family of methods to speed up deep model's inference. Previous filter pruning algorithms regard channel pruning and model fine-tuning as two independent steps. This paper argues that combining them into a single end-to-end trainable system will lead to better results. We propose an efficient channel selection layer, namely AutoPruner, to find less important filters automatically in a joint training manner. Our AutoPruner takes previous activation responses as an input and generates a true binary index code for pruning. Hence, all the filters corresponding to zero index values can be removed safely after training. We empirically demonstrate that the gradient information of this channel selection layer is also helpful for the whole model training. By gradually erasing several weak filters, we can prevent an excessive drop in model accuracy. Compared with previous state-of-the-art pruning algorithms (including training from scratch), AutoPruner achieves significantly better performance. Furthermore, ablation experiments show that the proposed novel mini-batch pooling and binarization operations are vital for the success of filter pruning.

연구 동기 및 목표

• 기존 필터 프루닝 방법이 프루닝과 피지터닝을 별도로 처리하고 상호작용하지 않는 점을 해결하기 위해.
• 프루닝을 훈련 과정에 통합함으로써 피지터닝이 채널 선택을 이끌 수 있는지 탐색하기 위해.
• 모델 정확도와 필터 프루닝을 동시에 최적화하는 훈련 가능한 엔드 투 엔드 프레임워크를 개발하기 위해.
• 적응형 압축 비율과 고정밀 다중층 프루닝을 가능하게 하면서도 높은 정확도를 유지하기 위해.
• 기울기 흐름을 통한 자동이고 일관된 필터 프루닝이 모델 효율성과 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 특징 맵을 입력으로 받고, 프루닝할 필터를 나타내는 C차원의 이진 코드를 출력하는 가속 가능한, 학습 가능한 레이어인 AutoPruner를 도입한다.
• 학습 가능한 온도 파rameter α를 가진 새로운 스케일드 시그모이드 함수를 사용해 출력을 점진적으로 이진화함으로써, 훈련 중 소프트에서 하드 프루닝으로의 전환을 가능하게 한다.
• 미니배치 풀링과 최대 풀링을 활용해 배치 전체의 활성화 통계를 집계함으로써, 다양한 입력에 걸쳐 일관된 필터 중요도 점수를 확보한다.
• 스패arsity 유도 손실 함수를 적용하여 이진 코드가 사전 정의된 압축 비율에 수렴하도록 하되, 동시에 네트워크가 실제 스파arsity를 적응적으로 결정할 수 있도록 한다.
• 채널 선택 레이어에서 유도된 기울기가 이전 레이어로 역전파되도록 엔드 투 엔드 훈련을 지원함으로써, 특징 학습과 프루닝 정확도를 향상시킨다.
• 여러 컨볼루션 레이어에 동시에 AutoPruner 레이어를 적용함으로써 다중층 프루닝을 지원하며, 훈련 비용을 줄이고 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 필터 프루닝과 모델 피지터닝을 하나의 엔드 투 엔드 훈련 가능한 프레임워크로 통합하면 모델 정확도와 압축 효율성이 향상되는가?
• RQ2 채널 선택 레이어의 기울기 정보가 이전 컨볼루션 레이어의 훈련을 향상시키는가?
• RQ3 제안된 방법은 고정밀 압축 비율을 유지하면서도 훈련을 처음부터 시작하는 것보다 더 뛰어난 성능을 낼 수 있는가?
• RQ4 다양한 입력 배치 간 이진 인덱스 코드의 일관성이 프루닝 신뢰성과 모델 정확도에 어떤 영향을 미치는가?
• RQ5 새로운 미니배치 풀링과 이진화 연산이 안정적이고 효과적인 필터 프루닝을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• AutoPruner는 CUB200-2011 및 ImageNet 데이터셋에서 최신 기술 수준의 필터 프루닝 방법을 모두 능가하며, 유사하거나 더 높은 압축 비율에서 더 높은 Top-1 정확도를 달성한다.
• ResNet-50 기반 ImageNet에서 AutoPruner는 74.76%의 Top-1 정확도를 기록했으며, 180 에포크 동안 훈련을 처음부터 시작한 경우의 73.90%보다 뛰어나다.
• SSS와 유사한 FLOPs를 기준으로 ResNet-50에서 AutoPruner는 2% 높은 Top-1 정확도를 확보했으며, SSS는 전체 잔여 블록을 프루닝한 바 있다.
• 제거 실험 결과, 미니배치 풀링과 적응형 시그모이드 이진화의 조합이 필수적임을 확인했다. α나 풀링을 제거할 경우 성능이 급격히 악화되며, 예를 들어 α 없이 실험한 경우 정확도가 9.154%로 떨어졌다.
• 다양한 입력 배치 간 생성된 이진 인덱스 코드는 일관되며, 0으로 표시된 필터는 성능 저하 없이 안전하게 프루닝될 수 있다.
• AutoPruner 레이어에서 기인한 기울기 흐름은 이전 레이어의 훈련을 향상시키며, 프루닝과 피지터닝 간 상호 이득을 보여준다.