[논문 리뷰] DMCP: Differentiable Markov Channel Pruning for Neural Networks

Shaopeng Guo, Yujie Wang외 2명|arXiv (Cornell University)|2020. 05. 07.

Advanced Neural Network Applications참고 문헌 22인용 수 15

한 줄 요약

DMCP는 채널 프루닝을 마르코프 과정으로 모델링하여 엔드 투 엔드 기반의 기울기 최적화와 FLOPs 정규화를 가능하게 하는 미분 가능한 마르코프 채널 프루닝 방법을 제안한다. 다양한 FLOPs 제약 조건 하에서 ResNet 및 MobileNetV2 아키텍처에서 ImageNet에서 최신 기술 수준의 정확도를 달성하며, AMC, MetaPruning, AutoSlim과 같은 기존 방법들을 일관된 성능 향상으로 능가한다.

ABSTRACT

Recent works imply that the channel pruning can be regarded as searching optimal sub-structure from unpruned networks. However, existing works based on this observation require training and evaluating a large number of structures, which limits their application. In this paper, we propose a novel differentiable method for channel pruning, named Differentiable Markov Channel Pruning (DMCP), to efficiently search the optimal sub-structure. Our method is differentiable and can be directly optimized by gradient descent with respect to standard task loss and budget regularization (e.g. FLOPs constraint). In DMCP, we model the channel pruning as a Markov process, in which each state represents for retaining the corresponding channel during pruning, and transitions between states denote the pruning process. In the end, our method is able to implicitly select the proper number of channels in each layer by the Markov process with optimized transitions. To validate the effectiveness of our method, we perform extensive experiments on Imagenet with ResNet and MobilenetV2. Results show our method can achieve consistent improvement than state-of-the-art pruning methods in various FLOPs settings. The code is available at https://github.com/zx55/dmcp

연구 동기 및 목표

• 기존 채널 프루닝 방법이 수많은 하위 구조를 훈련 및 평가해야 하는 확장성의 한계를 해결하기 위해.
• 프루닝된 신경망에서 최적의 하위 구조를 효율적이고 미분 가능한 방식으로 탐색할 수 있도록 하기 위해.
• 채널 프루닝을 학습 가능한 전이 확률을 가진 마르코프 과정으로 모델링하여 엔드 투 엔드 최적화를 가능하게 하기 위해.
• 기울기 기반 최적화를 통해 엄격한 FLOPs 예산 하에서도 높은 정확도와 컴act한 모델을 달성하기 위해.

제안 방법

• 채널 프루닝을 마르코프 과정으로 모델링하며, 각 상태는 채널의 유지 여부를 나타내고, 전이 확률은 다음 채널을 유지할 확률을 의미한다.
• 채널 유지 확률는 전이 확률의 곱으로 계산되며, 이는 특징 맵에 대한 학습 가능한 스케일링 계수로 기능한다.
• 학습 가능한 전이 확률는 표준 작업 손실과 FLOPs 정규화를 기반으로 기울기 하강법을 통해 엔드 투 엔드로 최적화된다.
• 최적화 후, 최종 프루닝된 모델은 학습된 마르코프 과정에서 기대값 샘플링을 통해 추출되며, 이후부터 재학습된다.
• DARTS에서의 독립적인 연산 선택과는 달리, 이 방법은 채널 수 간의 논리적 의존성을 가진 미분 가능한 아키텍처 탐색을 지원한다.
• 이 방법은 다수의 하위 구조를 반복적으로 훈련하지 않아도 되는 효율적이고 확장 가능한 프루닝을 가능하게 한다.

실험 결과

연구 질문

• RQ1 채널 프루닝이 기울기 기반 최적화를 가능하게 하는 미분 가능한 마르코프 과정으로 효과적으로 모델링될 수 있는가?
• RQ2 채널 수 간의 논리적 의존성(예: k+1개의 채널은 k개의 채널이 필요함)이 미분 가능한 프루닝 프레임워크에서 어떻게 유지될 수 있는가?
• RQ3 미분 가능한 마르코프 과정이 강화 학습 및 진화적 방법보다 프루닝 효율성과 정확도 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 아키텍처와 가중치의 공동 최적화가 프루닝된 모델의 성능 향상에 얼마나 기여하는가?
• RQ5 제시된 방법이 다양한 아키텍처인 MobileNetV2 및 ResNet에서 다양한 FLOPs 제약 조건 하에서도 일반화 가능한가?

주요 결과

• ImageNet에서 DMCP는 211M FLOPs 조건 하에서 MobileNetV2에서 72.2%의 top-1 정확도를 달성하여 베이스라인보다 1.2% 높고, AutoSlim, AMC, MetaPruning을 모두 능가한다.
• ResNet-50의 경우 FLOPs를 44% 감소시켜 4.1G에서 2.2G로 줄였으며, 정확도는 0.4% 감소에 그쳐 76.2%의 top-1 정확도를 달성했다.
• 59M FLOPs 조건에서 DMCP는 MobileNetV2에서 62.7%의 top-1 정확도를 기록했으며, 동일한 FLOPs 조건에서 프루닝되지 않은 베이스라인 대비 9.6% 향상되었다.
• 스리머블 방법으로 훈련한 경우, 300M FLOPs 조건에서 DMCP는 74.6%의 top-1 정확도를 달성하여 AutoSlim보다 2.3% 높은 성능을 보였다.
• 절단 실험 결과, 아키텍처와 가중치의 공동 최적화가 별도 훈련보다 더 우수한 성능을 낸다는 것이 확인되었으며, 59M FLOPs 조건에서 62.7%의 top-1 정확도를 기록했다.
• MobileNetV2 및 ResNet 아키텍처 전반에서 모든 FLOPs 설정에서 균일한 프루닝, MetaPruning, AMC, FPGM와 비교해 일관되게 뛰어난 성능을 보였다.