[논문 리뷰] DHP: Differentiable Meta Pruning via HyperNetworks

Yawei Li, Shuhang Gu외 3명|Lirias (KU Leuven)|2020. 03. 30.

Image Processing Techniques and Applications참고 문헌 65인용 수 12

한 줄 요약

이 논문은 채널 희소성 제어를 위한 희소 잠재 벡터를 학습하여 신경망을 자동으로 희소화하는 가역적 메타프루닝 방법인 DHP를 제안한다. 이 방법은 이러한 잠재 벡터에 ℓ₁ 정규화와 프록시멀 그래디언트 최적화를 적용함으로써 종단 간(end-to-end), 가역적 프루닝을 실현하며, 이미지 분류, 초해상도, 노이즈 제거 작업 전반에서 FLOPs와 파라미터를 감소시키면서도 기준 모델보다 높은 정확도를 달성한다.

ABSTRACT

Network pruning has been the driving force for the acceleration of neural networks and the alleviation of model storage/transmission burden. With the advent of AutoML and neural architecture search (NAS), pruning has become topical with automatic mechanism and searching based architecture optimization. Yet, current automatic designs rely on either reinforcement learning or evolutionary algorithm. Due to the non-differentiability of those algorithms, the pruning algorithm needs a long searching stage before reaching the convergence. To circumvent this problem, this paper introduces a differentiable pruning method via hypernetworks for automatic network pruning. The specifically designed hypernetworks take latent vectors as input and generate the weight parameters of the backbone network. The latent vectors control the output channels of the convolutional layers in the backbone network and act as a handle for the pruning of the layers. By enforcing $\ell_1$ sparsity regularization to the latent vectors and utilizing proximal gradient solver, sparse latent vectors can be obtained. Passing the sparsified latent vectors through the hypernetworks, the corresponding slices of the generated weight parameters can be removed, achieving the effect of network pruning. The latent vectors of all the layers are pruned together, resulting in an automatic layer configuration. Extensive experiments are conducted on various networks for image classification, single image super-resolution, and denoising. And the experimental results validate the proposed method.

연구 동기 및 목표

• 강화 학습 및 진화 알고리즘과 같은 비가역적 자동 프루닝 방법의 느린 수렴 문제를 해결하기 위해.
• 종단 간, 가역적 네트워크 프루닝을 가능하게 하여 자동적이고 계층별 채널 설정을 지원하기 위해.
• 출력 크기가 입력 잠재 벡터에 따라 달라지는 하이퍼넷워크 아키텍처를 설계하여 동적 프루닝을 가능하게 하기 위해.
• 희소 잠재 벡터를 통한 모든 계층의 동시 프루닝을 통해 FLOPs와 파라미터를 일관되게 감소시키기 위해.
• 동일한 계산 부담 조건에서 자동으로 프루닝된 모델이 원본 모델을 초월하는 정확도를 확보할 수 있음을 입증하기 위해.

제안 방법

• 학습 가능한 잠재 벡터를 입력으로 받아 기반 네트워크의 가중치 파라미터를 생성하는 하이퍼넷워크를 훈련한다.
• 각 잠재 벡터는 해당하는 컨볼루션 계층의 출력 채널 수를 제어하며, 프루닝 핸들 역할을 한다.
• 잠재 벡터에 ℓ₁ 희소성 정규화를 적용하여 프루닝을 장려하고, 프록시멀 그래디언트 솔버를 사용해 최적화한다.
• 희소화된 잠재 벡터가 하이퍼넷워크를 통과하여 해당 채널 슬라이스를 제거함으로써 프루닝된 가중치 행렬을 생성한다.
• 전체 시스템은 역전파를 통해 종단 간 훈련되며, 가역적 아키텍처 탐색을 가능하게 한다.
• 단일 세트의 잠재 벡터를 최적화하는 방식으로 모든 계층의 동시적이고 자동적인 프루닝을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화 학습 및 진화 알고리즘의 느린 수렴 문제를 피하면서도 종단 간, 가역적 프루닝 방법을 설계할 수 있는가?
• RQ2 출력 크기가 입력 잠재 벡터에 따라 달라지는 하이퍼넷워크를 설계하여 동적이고 채널 수준의 프루닝을 가능하게 할 수 있는가?
• RQ3 희소 잠재 벡터를 통한 자동적이고 계층별 채널 설정이 고정 폭 아키텍처에 비해 더 높은 모델 효율성과 정확도를 달성할 수 있는가?
• RQ4 제안된 방법이 정확도를 유지하거나 향상시키면서도 FLOPs와 파라미터를 일관되게 감소시킬 수 있는가?
• RQ5 자동 프루닝 메커니즘이 더 큰 기준 모델에 비해 정확도와 효율성 측면에서 뛰어난 성능을 보이는 모델을 생성할 수 있는가?

주요 결과

• DHP는 FLOPs 및 파라미터 압축 비율 전반에서 너비 배수 α=1인 원본 MobileNet보다 Top-1 정확도에서 뛰어나다.
• MobileNet에서 DHP 모델은 100% FLOPs 압축 비율 조건에서도 기준 모델보다 높은 정확도를 확보하여 효율성 향상을 입증한다.
• 이미지 초해상도 작업에서 DHP-20은 Set5에서 PSNR 32.85를 기록하며 인퍼런스 시간을 14.10ms로 크게 단축시켰다.
• 이미지 노이즈 제거 작업에서 DHP-20은 UNet 아키텍처에서 FLOPs를 0.75G로 줄이고 인퍼런스 시간을 1.61ms로 단축하면서도 PSNR를 25.04dB로 유지한다.
• 이 방법은 FLOPs와 파라미터 양쪽 모두에 대해 일관된 감소를 달성하여, FLOPs만 감소시키고 실제 런타임은 감소시키지 못하는 Group [47] 등의 방법에서 나타나는 비효율성을 피한다.
• 시각적 결과는 DHP가 생성한 이미지가 기준 모델과 거의 구분되지 않음을 보여주며, 높은 인지적 품질을 확인한다.