[논문 리뷰] A flexible, extensible software framework for model compression based on the LC algorithm

Yerlan Idelbayev, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|2020. 05. 15.

Neural Networks and Applications참고 문헌 45인용 수 5

한 줄 요약

이 논문은 반복적인 학습(L)과 압축(C) 단계를 번갈아 적용하는 학습-압축(LC) 알고리즘 기반으로 구축된 유연하고 확장 가능한 소프트웨어 프레임워크를 제안한다. 이 프레임워크는 신경망의 다양한 레이어에 대해 다중 압축 기법—자르기, 양자화, 낮은 질서 분해 및 그 조합—을 지원하며, 최소한의 사용자 노력과 원래 모델을 훈련하는 것과 유사한 런타임으로 경쟁 가능한 정확도와 압축 비율을 달성한다.

ABSTRACT

We propose a software framework based on the ideas of the Learning-Compression (LC) algorithm, that allows a user to compress a neural network or other machine learning model using different compression schemes with minimal effort. Currently, the supported compressions include pruning, quantization, low-rank methods (including automatically learning the layer ranks), and combinations of those, and the user can choose different compression types for different parts of a neural network. The LC algorithm alternates two types of steps until convergence: a learning (L) step, which trains a model on a dataset (using an algorithm such as SGD); and a compression (C) step, which compresses the model parameters (using a compression scheme such as low-rank or quantization). This decoupling of the "machine learning" aspect from the "signal compression" aspect means that changing the model or the compression type amounts to calling the corresponding subroutine in the L or C step, respectively. The library fully supports this by design, which makes it flexible and extensible. This does not come at the expense of performance: the runtime needed to compress a model is comparable to that of training the model in the first place; and the compressed model is competitive in terms of prediction accuracy and compression ratio with other algorithms (which are often specialized for specific models or compression schemes). The library is written in Python and PyTorch and available in Github.

연구 동기 및 목표

• 깊은 신경망에 다양한 모델 압축 기법을 적용하기 위한 통합적이고 모듈식 프레임워크의 부족을 해결하기 위해.
• 전문가가 아닌 사용자가 모델의 다양한 부분에 대해 자르기, 양자화, 낮은 질서 분해와 같은 여러 압축 기법을 쉽게 적용하고 비교할 수 있도록 하기 위해.
• 학습과 압축 과정을 분리하여 기존의 훈련 및 압축 알고리즘을 즉시 통합할 수 있도록 하기 위해.
• 개별 및 병합된 압축 전략을 모두 지원하며 수렴 보장을 제공하는 단일이고 확장 가능한 소프트웨어 라이브러리 제공하기 위해.
• 다양한 압축 전략을 실험하는 복잡성을 줄이기 위해 통합적이고 구성 가능한 인터페이스를 제공하기 위해.

제안 방법

• 프레임워크는 학습(L) 단계—SGD 또는 유사 최적화 방법을 사용해 모델을 훈련하는 것—와 압축(C) 단계—모델 파라미터에 압축 기법을 적용하는 것—를 번갈아 수행하는 LC 알고리즘을 구현한다.
• L 단계는 복합 손실을 최소화한다: $ L(\mathbf{w}) + \frac{\mu}{2} \|\mathbf{w} - \boldsymbol{\Delta}(\boldsymbol{\Theta})\|^{2} $, 여기서 $ \mu $ 는 데이터 피팅과 압축된 표현에의 부합도 사이의 트레이드오프를 조절한다.
• C 단계는 현재 가중치 $ \mathbf{w} $ 를 더 낮은 차원 또는 이산 공간 $ \boldsymbol{\Delta}(\boldsymbol{\Theta}) $ 로 투영하기 위해 압축 기법(예: 양자화에 대한 k-means, 낮은 질서 분해에 대한 SVD, 또는 크기 기반 자르기)을 적용한다.
• 프레임워크는 서로 다른 레이어에 대해 서로 다른 압축 유형을 독립적으로 적용할 수 있어 세밀하고 이질적인 압축 전략을 가능하게 한다.
• 반복 과정을 거쳐 점차적으로 압축을 강제하기 위해 지수 증가하는 $ \mu $ 스케줄링 $ \mu_k = \mu_0 \times a^k $ 을 사용하며, $ a \in [1.1, 1.4] $ 이다.
• 라이브러리는 파이썬과 파이토치로 구현되었으며, 완전한 모ularity를 제공한다: 모델이나 압축 방법을 변경하려면 L 또는 C 단계에 대한 새로운 서브루틴만 삽입하면 된다.

실험 결과

연구 질문

• RQ1 한 개의 알고리즘 파이프라인 내에서 자르기, 양자화, 낮은 질서 분해와 같은 다양한 이질적인 모델 압축 기법을 효율적으로 지원할 수 있는 단일 통합 프레임워크가 가능한가?
• RQ2 학습과 압축 단계의 분리가 성능을 저하시키지 않으면서도 민첩하고 모듈적이며 확장 가능한 압축을 어떻게 가능하게 하는가?
• RQ3 신경망의 다양한 레이어에 여러 압축 기법을 병합하여 사용할 때 LC 알고리즘이 얼마나 경쟁력 있는 압축 비율과 예측 정확도를 달성할 수 있는가?
• RQ4 수렴과 성능을 보장하기 위한 핵심 하이퍼파라미터 설정(예: $ \mu $ 스케줄링, 학습률 감소)은 무엇인가?
• RQ5 동일한 모델과 압축 유형에 대해 이 프레임워크의 런타임과 정확도는 전용의 단일 압축 도구와 비교하여 어떻게 되는가?

주요 결과

• 일반적인 목적의 확장 가능한 프레임워크임에도 불구하고, 전용 알고리즘과 경쟁 가능한 압축 비율과 예측 정확도를 달성한다.
• LC 프레임워크를 사용해 모델을 압축하는 데 소요되는 런타임은 원래 모델을 처음부터 훈련하는 데 소요되는 시간과 유사하다.
• 프레임워크는 양자화를 일부 레이어에, 자르기를 다른 레이어에, 낮은 질서 분해를 또 다른 레이어에 적용하는 등 혼합 압축 전략을 성공적으로 지원한다. 이는 표 6에서 확인할 수 있다.
• LeNet300 아키텍처의 경우, 서로 다른 레이어에 서로 다른 압축 유형(예: 양자화, 자르기, 낮은 질서 분해)을 적용해 테스트 오차 2.18% 를 달성했으며, 이는 이질적 압축의 효과를 입증한다.
• 지수적 $ \mu $-스케줄링 $ \mu_k = 9 \times 10^{-5} \times 1.1^k $ (또는 낮은 질서 분해에 대해 $ 1.4^k $) 의 사용은 반복 과정 전반에 걸쳐 수렴과 효과적인 압축을 보장한다.
• 프레임워크의 모듈식 설계 덕분에, C 단계에서 제곱 오차 손실을 올바르게 최소화하는 압축 루틴을 구현하기만 하면 새로운 압축 기법을 최소한의 코드 변경으로 쉽게 통합할 수 있다.