[논문 리뷰] Lossless CNN Channel Pruning via Gradient Resetting and Convolutional Re-parameterization

Xiaohan Ding, Tianxiang Hao외 4명|arXiv (Cornell University)|2020. 07. 07.

Advanced Neural Network Applications참고 문헌 4인용 수 5

한 줄 요약

이 논문은 깊이 학습된 CNN을 '기억'과 '기억을 잃는' 구성요소로 재구성하는 새로운 채널 프루닝 방법을 제안한다. '기억' 부분은 표준 SGD를 사용하고, '기억을 잃는' 부분은 페널티 기울기 업데이트를 통해 구조적 희박성을 유도한다. 이 방법은 ResNet-50의 FLOPs를 43.9%로 손실 없이 줄이며 ImageNet에서 정확도가 하락하지 않아 76.15%의 top-1 정확도를 달성한다.

ABSTRACT

Channel pruning (a.k.a. filter pruning) aims to slim down a convolutional neural network (CNN) by reducing the width (i.e., numbers of output channels) of convolutional layers. However, as CNN's representational capacity depends on the width, doing so tends to degrade the performance. A traditional learning-based channel pruning paradigm applies a penalty on parameters to improve the robustness to pruning, but such a penalty may degrade the performance even before pruning. Inspired by the neurobiology research about the independence of remembering and forgetting, we propose to re-parameterize a CNN into the remembering parts and forgetting parts, where the former learn to maintain the performance and the latter learn for efficiency. By training the re-parameterized model using regular SGD on the former but a novel update rule with penalty gradients on the latter, we achieve structured sparsity, enabling us to equivalently convert the re-parameterized model into the original architecture with narrower layers. With our method, we can slim down a standard ResNet-50 with 76.15\% top-1 accuracy on ImageNet to a narrower one with only 43.9\% FLOPs and no accuracy drop. Code and models are released at this https URL.

연구 동기 및 목표

• 채널 프루닝으로 인한 표현 능력 감소로 인한 성능 저하 문제를 해결하기 위해.
• 기존 정규화 기반 프루닝 방법의 한계를 극복하기 위해, 프루닝 이전에도 성능 저하가 발생하는 문제를 방지하기 위해.
• 정확도 유지와 효율성 확보를 위해 신경생물학적으로 영감을 얻은 학습 분리 기반의 구조적 희박성 도입을 위해.
• 표준 SGD로 주 네트워크를 훈련하면서도 성능 손실 없이 채널을 프루닝할 수 있는 새로운 업데이트 규칙을 적용한 재구성 전략 개발을 위해.
• 표준 ImageNet 벤치마크에서 원래 정확도를 유지하면서도 상당한 FLOPs 감소를 달성하기 위해.

제안 방법

• CNN을 성능 유지와 효율성 확보를 위한 두 개의 별도 구성요소로 재구성: '기억'과 '기억을 잃는' 부분.
• 표준 확률적 경사 하강법(SGD)을 사용해 '기억' 부분을 훈련하여 표현 능력을 유지한다.
• '기억을 잃는' 부분에 새로운 업데이트 규칙과 페널티 기울기를 적용하여 채널 가중치의 구조적 희박성을 유도한다.
• 기울기 재설정을 통해 '기억을 잃는' 과정을 주 네트워크의 학습 동역학에서 분리함으로써 생물학적 기억 메커니즘을 모방한다.
• 훈련 후, 프루닝된 채널을 제거하여 컴act하고 좁은 아키텍처로 모델을 재구성함으로써 재구성된 모델을 효율적인 슬림 CNN으로 전환한다.
• 컨볼루션 재구성 기법을 활용해 프루닝 후에도 추론 효율성과 모델 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 성능 유지와 채널 프루닝을 위한 별도의 구성요소로 CNN을 재구성할 수 있는가?
• RQ2 전용 '기억을 잃는' 부분에 페널티 기울기 업데이트 규칙을 적용하면 기존 정규화 방법보다 구조적 희박성 유도에 더 효과적인가?
• RQ3 제안된 방법이 ResNet-50와 같은 표준 CNN 아키텍처에서 원래 정확도를 유지하면서 상당한 FLOPs 감소를 달성할 수 있는가?
• RQ4 기억과 기억 상실의 신경생물학적 유사성에 기반한 독립적 학습 방식이 종단 간 미세조정 대비 프루닝 성능 향상에 기여하는가?
• RQ5 재학습 없이도 이 방법이 다른 아키텍처와 데이터셋에 일반화될 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 ResNet-50에서 FLOPs를 43.9% 감소시키며 ImageNet에서 top-1 정확도가 하락하지 않아 76.15%의 정확도를 유지한다.
• 성능 저하 없이 효과적인 채널 프루닝을 가능하게 하는 새로운 기울기 재설정 메커니즘을 통해 모델이 구조적 희박성을 달성한다.
• 기억과 기억을 잃는 학습 구성의 분리로 인해 네트워크는 표현 능력을 유지하면서도 효율적인 프루닝이 가능해진다.
• 프루닝 과정 중 성능 저하가 발생하지 않기 때문에 기존 정규화 기반 프루닝 접근법보다 성능이 뛰어나다.
• 재구성된 모델은 동일한 성능을 유지하는 표준 좁은 CNN 아키텍처로 변환 가능하므로 자원 제약 환경에서의 배포에 적합하다.
• 이 방법은 표준 벤치마크에서 효과적으로 작동하며, 아키텍처 재구성과 대상 기울기 업데이트를 통해 손실 없는 프루닝이 가능하다는 점을 입증한다.