[논문 리뷰] LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification

Sharath Girish, Kamal Gupta외 2명|arXiv (Cornell University)|2022. 04. 06.

Advanced Neural Network Applications인용 수 7

한 줄 요약

LilNetX는 재구성된 잠재 공간 정규화를 통해 모델 압축과 구조적 희소성(structured sparsity)을 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 제안한다. ResNet-20 (CIFAR-10)에서는 최대 50% 작고 98% 희소성의 모델을 달성하였으며, ResNet-50 (ImageNet)에서는 35% 작아진 크기와 42%의 구조적 희소성을 확보하였고, 원본 정확도를 유지하면서 후처리 또는 다단계 학습 없이도 성능을 달성한다.

ABSTRACT

We introduce LilNetX, an end-to-end trainable technique for neural networks that enables learning models with specified accuracy-rate-computation trade-off. Prior works approach these problems one at a time and often require post-processing or multistage training which become less practical and do not scale very well for large datasets or architectures. Our method constructs a joint training objective that penalizes the self-information of network parameters in a reparameterized latent space to encourage small model size while also introducing priors to increase structured sparsity in the parameter space to reduce computation. We achieve up to 50% smaller model size and 98% model sparsity on ResNet-20 while retaining the same accuracy on the CIFAR-10 dataset as well as 35% smaller model size and 42% structured sparsity on ResNet-50 trained on ImageNet, when compared to existing state-of-the-art model compression methods. Code is available at https://github.com/Sharath-girish/LilNetX.

연구 동기 및 목표

• 실제 환경에서의 저장, 계산, 전송 비용을 최소화하는 효율적인 딥러닝 모델에 대한 증가하는 수요를 해결하기 위해.
• 저장을 위한 모델 압축과 계산을 위한 구조적 희소성 간 격차를 해소하기 위해, 단일 학습 과정에서 둘을 동시에 최적화하기 위해.
• 후처리 단계인 양자화 또는 프루닝을 제거하여 추가 처리 없이 직접 엔드 투 엔드 학습이 가능하도록 하기 위해.
• 잠재 공간 사전 정보를 통해 구조적 희소성(스ライ스 희소성)을 강제로 적용하면서도 높은 압축 비율을 유지하는 새로운 방법을 제안하기 위해.
• 조정 가능한 정규화 가중치를 통해 모델 크기, 추론 계산량(FLOPs), 정확도 간의 조정 가능한 트레이드오프를 제공하기 위해.

제안 방법

• 모델 가중치를 양자화하기 위해 재구성된 잠재 공간을 사용하여, 이러한 잠재 표현의 엔트로피를 최소화함으로써 극한의 모델 압축을 달성한다.
• 두 가지 정규화 항을 도입한다: 잠재 가중치에 대한 L1 노름을 통한 비구조적 희소성 정규화와, 복원된 가중치 공간에서의 구조적 희소성(스ライ스 희소성) 정규화.
• 스ライ스 희소성은 K×K 커널 슬라이스의 비영 요소를 처벌함으로써 강제로 적용되며, 이는 CuSPARSE와 같은 라이브러리를 통한 블록 희소 행렬 곱셈과 효율적인 추론을 가능하게 한다.
• 교차 엔트로피 손실, 엔트로피 최소화, 비구조적/구조적 희소성 정규화를 결합한 공동 최적화 목표 함수를 엔드 투 엔드로 학습한다.
• 하이퍼파rameter λU(비구조적 희소성)와 λS(구조적 희소성)를 조정함으로써 정확도-레이트-계산 트레이드오프를 제어할 수 있다.
• 모델 파라미터에 직접 작용하며 후처리 또는 미세조정이 필요 없어, 대규모 데이터셋 및 아키텍처에 대한 확장 가능한 배포가 가능하다.

실험 결과

연구 질문

• RQ1 후처리 없이 엔드 투 엔드 학습 중에 모델 압축과 구조적 희소성을 동시에 최적화할 수 있는가?
• RQ2 가중치 공간에서 슬라이스 희소성 강제 적용이 높은 압축률과 정확도를 유지하면서 실질적인 추론 속도 향상을 이끌 수 있는가?
• RQ3 잠재 공간 사전 정보가 극한의 압축과 구조적 희소성을 동시에 달성하는 데 얼마나 효과적인가?
• RQ4 정규화 하이퍼파라미터를 통해 모델 크기, FLOPs, 정확도 간의 트레이드오프를 효과적으로 제어할 수 있는가?
• RQ5 기존 최고 수준의 양자화 및 프루닝 기법과 비교해 볼 때, 제안된 방법은 압축률과 희소성 측면에서 얼마나 우수한가?

주요 결과

• ResNet-20(CIFAR-10)에서 LilNetX는 원본 모델과 동일한 정확도를 유지하면서 모델 크기를 50% 작게 만들고 98%의 희소성을 달성하였다.
• ImageNet용 ResNet-50에서는 모델 크기를 35% 줄였고, 동일한 정확도를 유지하면서 42%의 구조적 희소성을 확보하였다.
• 조정 가능한 정규화 가중치 λU와 λS를 통해 모델 크기, FLOPs, 정확도 간의 연속적인 트레이드오프를 가능하게 하였다.
• 스라이스 희소성 강제 적용은 비구조적 희소성만 적용했을 때보다 더 높은 구조적 희소성을 달성하였으며, 후자의 경우 구조적 사전 정보와 조합했을 때 98%의 희소성 향상을 보였다.
• 제거 실험을 통해 구조적 희소성 사전 정보가 정확도를 훼손하지 않으면서도 압축과 희소성 향상에 크게 기여하는 것으로 확인되었으며, CIFAR-100과 같은 더 큰 데이터셋에서도 동일한 효과를 보였다.
• 후처리 또는 다단계 학습이 필요 없이도, 기존 최고 수준의 방법들보다 모델 압축과 구조적 희소성 측면에서 뛰어난 성능을 보였다.