[논문 리뷰] MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning

Zechun Liu, Haoyuan Mu외 5명|arXiv (Cornell University)|2019. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 99

한 줄 요약

MetaPruning은 PruningNet을 훈련시켜 임의의 가지치기 구조에 대한 가중치를 예측하고, 제약 조건 하에서 고성과의 prune 네트워크를 찾기 위해 진화적 탐색을 사용하여 미세 조정 없이 빠른 AutoML형 채널 가지치기를 가능하게 한다. FLOPs/지연 제약 하에서 MobileNet과 ResNet의 정확도를 기준선보다 향상시킨다.

ABSTRACT

In this paper, we propose a novel meta learning approach for automatic channel pruning of very deep neural networks. We first train a PruningNet, a kind of meta network, which is able to generate weight parameters for any pruned structure given the target network. We use a simple stochastic structure sampling method for training the PruningNet. Then, we apply an evolutionary procedure to search for good-performing pruned networks. The search is highly efficient because the weights are directly generated by the trained PruningNet and we do not need any finetuning at search time. With a single PruningNet trained for the target network, we can search for various Pruned Networks under different constraints with little human participation. Compared to the state-of-the-art pruning methods, we have demonstrated superior performances on MobileNet V1/V2 and ResNet. Codes are available on https://github.com/liuzechun/MetaPruning.

연구 동기 및 목표

• 다양한 가지치기 구조에 대해 가중치를 생성할 수 있는 메타 네트워크를 학습함으로써 채널 가지치기의 수동 하이퍼파라미터 조정을 줄인다.
• 미세 조정 없이 가지치기 네트워크에 대한 가중치를 예측하여 가지치기 아키텍처를 빠르게 탐색할 수 있도록 한다.
• 가지치기 탐색 과정에 FLOPs 및 지연과 같은 제약을 포함한다.
• 메타러닝을 통해 ResNet 유사 네트워크의 단축 회로/가지치기 구조를 다룬다.
• MobileNet 및 ResNet에서 균일 가지치기 및 기존 AutoML 기반 가지치기 방법보다 우수한 정확도를 시연한다.

제안 방법

• 네트워크 인코딩 벡터(레이어당 채널 수)를 주어진 가지치기 구조에 대해 가중치를 생성하는 메타 네트워크 PruningNet을 학습시킨다.
• 가지치기 아키텍처의 분포에 걸쳐 PruningNet을 학습시키기 위해 확률적 구조 샘플링을 사용한다.
• 네트워크 인코딩 벡터를 바꿔 가며 PruningNet이 생성한 가중치를 사용해 검증 정확도를 평가하되 미세 조정을 수행하지 않는다.
• 제약이 있는 가지치기 아키텍처에 대해 진화적 탐색을 적용해 고성능 구조를 식별한다.
• 각 층에 대해 가지치기된 입력/출력 채널과 일치하도록 PruningNet 생성 가중치를 잘라 평가에 사용한다.
• FLOPs 및 지연 제약 하에서 균일 가지치기 기준선 및 최신 채널 가지치기 방법과 비교한다.

실험 결과

연구 질문

• RQ1 단일 학습된 PruningNet이 광범위한 가지치기 네트워크 구조에 대해 가중치를 생성할 수 있는가?
• RQ2 미세 조정 없이 FLOPs/지연 제약 하에서 고품질 가지치기 아키텍처를 찾기 위해 PruningNet과 함께 진화적 탐색이 가능한가?
• RQ3 MobileNet 및 ResNet에서 MetaPruning이 균일 가지치기 및 기존 AutoML 기반 가지치기 방법과 비교해 어떻게 성능하는가?
• RQ4 ResNet-스타일 단축 블록에서 MetaPruning이 채널 가지치기를 효과적으로 수행할 수 있는가?
• RQ5 PruningNet의 가중치 예측이 가지치기 성능에 미치는 영향은 무엇인가?

주요 결과

네트워크	FLOPs	Top1-Acc
Uniform Baseline (ResNet-50)	4.1G	76.6%
0.75× ResNet-50	2.3G	74.8%
0.5× ResNet-50	1.1G	72.0%
ThiNet-70	2.9G	75.8%
ThiNet-50	2.1G	74.7%
ThiNet-30	1.2G	72.1%
CP	2.0G	73.3%
MetaPruning - 0.85×	3.0G	76.2%
MetaPruning - 0.75×	2.0G	75.4%
MetaPruning - 0.5×	1.0G	73.4%

• MetaPruning은 MobileNet V1, MobileNet V2 및 ResNet-50에서 동일 FLOPs 기준으로 균일 가지치기 기준선보다 더 높은 정확도를 달성한다.
• 동일한 지연 시간에서 MetaPruning은 MobileNet V1/V2 기준선 대비 Top-1 정확도에서 최대 9.9 포인트의 향상을 보인다.
• ResNet-50에서 MetaPruning은 유사한 FLOPs 하에서 ThiNet, CP 및 SFP 가지치기 방법보다 우수하다.
• AMC 및 NetAdapt와 같은 AutoML 가지치기 방법과 비교할 때 MetaPruning은 유사한 FLOPs에서 더 우수한 정확도를 제공한다.
• PruningNet은 다양한 가지치기 구조에 걸쳐 가중치를 예측할 수 있어 탐색 중 재학습 없이 효율적인 탐색이 가능하다.