[논문 리뷰] Layer-compensated Pruning for Resource-constrained Convolutional Neural Networks

Ting-Wu Chin, Cha Zhang외 1명|arXiv (Cornell University)|2018. 10. 01.

Advanced Neural Network Applications참고 문헌 32인용 수 38

한 줄 요약

이 논문은 메타학습 기반의 방법인 레이어 보상형 프루닝(LcP)을 제안한다. 이는 필터 프루닝의 레이어 스케줄링 및 랭킹 문제를 통합한 글로벌 최적화 프레임워크로, 히우리스틱 중요도 지표에서 발생하는 근사 오차에 대한 레이어별 보상을 학습함으로써, 기존 강화학습 기반 접근보다 8배 빠른 메타학습 속도로 최신 기술 수준(SOTA)의 정확도를 달성한다. ImageNet에서 50%의 MAC 감소 조건 하에 정확도 격차를 0.7%로 줄였다.

ABSTRACT

Resource-efficient convolution neural networks enable not only the intelligence on edge devices but also opportunities in system-level optimization such as scheduling. In this work, we aim to improve the performance of resource-constrained filter pruning by merging two sub-problems commonly considered, i.e., (i) how many filters to prune for each layer and (ii) which filters to prune given a per-layer pruning budget, into a global filter ranking problem. Our framework entails a novel algorithm, dubbed layer-compensated pruning, where meta-learning is involved to determine better solutions. We show empirically that the proposed algorithm is superior to prior art in both effectiveness and efficiency. Specifically, we reduce the accuracy gap between the pruned and original networks from 0.9% to 0.7% with 8x reduction in time needed for meta-learning, i.e., from 1 hour down to 7 minutes. To this end, we demonstrate the effectiveness of our algorithm using ResNet and MobileNetV2 networks under CIFAR-10, ImageNet, and Bird-200 datasets.

연구 동기 및 목표

• 기존 필터 프루닝 방법이 레이어 스케줄링과 필터 랭킹 문제를 별개의 문제로 다루는 한계를 해결하기 위해.
• 이 두 하위 문제를 개선된 프루닝 효율성과 정확도를 위해 하나의 글로벌 랭킹 문제로 통합하기 위해.
• 프루닝 정책 탐색을 위한 메타학습의 시간 소모를 줄이면서 성능을 유지하거나 향상시키기 위해.
• 다양한 히우리스틱 중요도 지표(예: ℓ1, ℓ2, 타일러)를 개선하기 위해 학습된 레이어별 보상으로 일반화 가능한 프레임워크를 개발하기 위해.
• 엣지 배포 환경에서 시스템 수준 최적화를 위한 파레토 경계를 효율적으로 탐색할 수 있도록 하기 위해.

제안 방법

• 레이어 스케줄링과 필터 선택을 하나의 최적화 작업으로 통합하여 필터 프루닝을 통합된 글로벌 랭킹 문제로 공식화하기.
• 프루닝 목적함수의 이론적 근사값을 유도하고, 이를 통해 발생하는 근사 오차를 메타학습을 통해 보상하기.
• 중요도 점수의 레이어별 근사 오차를 보정하기 위한 잠재 변수를 학습하는 메타학습 프레임워크 도입.
• 학습된 보상을 다양한 히우리스틱 지표(ℓ1, ℓ2, 일阶 타일러)에 적용하여 프루닝 효과를 향상시키기.
• 다양한 네트워크 아키텍처와 데이터셋에 일반화하기 위해 검증 데이터셋 세트를 기반으로 메타학습러를 훈련하기.
• 훈련된 메타학습러를 사용하여 다양한 MAC 또는 지연 시간 제약 조건 하에서 최적의 프루닝 스케줄링과 필터 랭킹을 예측하기.

실험 결과

연구 질문

• RQ1 필터 프루닝에서의 레이어 스케줄링 및 필터 랭킹 문제를 효과적으로 하나의 글로벌 최적화 문제로 통합할 수 있는가?
• RQ2 프루닝 목적함수의 단순화 과정에서 발생하는 근사 오차를 레이어별로 체계적으로 보상할 수 있는가?
• RQ3 메타학습을 사용하여 이러한 오차에 효과적인 보상을 학습시킬 수 있으며, 이로 인해 프루닝 정확도와 효율성이 향상되는가?
• RQ4 제안된 방법은 정확도와 학습 시간 측면에서 기존 강화학습 기반 접근보다 뛰어나게 성능을 발휘하는가?
• RQ5 이 프레임워크는 다양한 네트워크 아키텍처와 데이터셋 간에 일반화되며, 자원 제약 조건 하에서도 높은 성능을 유지하는가?

주요 결과

• LcP는 ImageNet에서 50%의 MAC 연산으로 프루닝할 경우 원본 ResNet-50 모델과의 정확도 격차를 0.9%에서 0.7%로 줄였다.
• MAC 연산을 50%로 줄였을 때 ImageNet에서 75.17%의 최신 기술 수준 정확도를 달성하여 동일 조건 하에서 기존 기술을 초월했다.
• 메타학습 시간이 기존 강화학습 기반 접근의 1시간에서 7분으로 8배 빨라졌다.
• Bird-200 데이터셋에서 LcP는 51%의 MAC 연산으로 78.34%의 상위-1 정확도를 달성했으며, 단일 필터 탐욕적 프루닝(50% MAC에서 75.94%)을 뛰어넘었다.
• 프레임워크는 아키텍처 간 일반화가 가능하여 CIFAR-10, ImageNet, Bird-200에서 VGG, ResNet, MobileNetV2 모두에서 뛰어난 성능을 보였다.
• 지연 시간 프ofile 분석 결과 배치 크기 변화에 관계없이 일관된 속도 향상이 나타났으며, ResNet-50는 MAC를 58%로 줄인 후 배치 크기 16에서 1.11ms의 추론 지연 시간을 기록했다.