[논문 리뷰] Compressibility Loss for Neural Network Weights

Çağlar Aytekin, Francesco Cricri외 1명|arXiv (Cornell University)|2019. 05. 03.

Neural Networks and Applications참고 문헌 7인용 수 7

한 줄 요약

이 논문은 신경망의 가중치를 매우 압축 가능하도록 하는 압축성 손실을 도입한다. 이 손실은 L1 노름과 L2 노름의 비율에 기반한다. 이 손실을 최소화함으로써, 이 방법은 흩어진 분포와 낮은 엔트로피를 가지는 비영인 가중치를 유도하며, 상태최고 수준의 압축 비율을 달성한다—98% 흩어진 분포에서 최대 102.76까지 유지하면서도 경쟁 가능한 정확도를 유지를 한다.

ABSTRACT

In this paper we apply a compressibility loss that enables learning highly compressible neural network weights. The loss was previously proposed as a measure of negated sparsity of a signal, yet in this paper we show that minimizing this loss also enforces the non-zero parts of the signal to have very low entropy, thus making the entire signal more compressible. For an optimization problem where the goal is to minimize the compressibility loss (the objective), we prove that at any critical point of the objective, the weight vector is a ternary signal and the corresponding value of the objective is the squared root of the number of non-zero elements in the signal, thus directly related to sparsity. In the experiments, we train neural networks with the compressibility loss and we show that the proposed method achieves weight sparsity and compression ratios comparable with the state-of-the-art.

연구 동기 및 목표

• 신경망 가중치의 압축 가능성을 단순한 흩어진 분포를 넘어서 향상시키는 학습 목표를 개발하기 위해.
• 이론적이고 실증적으로, 압축성 손실을 최소화할 경우 동시에 흩어진 분포와 낮은 엔트로피를 가지는 비영인 가중치 분포를 유도함을 보여주기 위해.
• 모델 정확도를 유지하면서도 기존 최고 수준의 방법들과 비교해 압축 비율이 유사하거나 뛰어나게 하는 것을 목표로 하기 위해.
• 커리큘럼 학습(손실 가중치를 점진적으로 증가시키기)이 모델 성능과 압축 가능성에 미치는 영향을 탐색하기 위해.
• 흡저, 양자화 및 전체 압축 효율성 측면에서 기존 방법들과의 비교를 통해 본 방법의 유효성을 검증하기 위해.

제안 방법

• 압축성 손실은 $ L(\mathbf{x}) = \frac{||\mathbf{x}||_1}{||\mathbf{x}||_2} $로 정의되며, 원래는 반대 방향의 흩어진 분포를 측정하기 위해 제안되었다.
• 이론적 분석을 통해 이 손실의 임계점에서 가중치 벡터는 $\{-c, 0, c\}$ 값만을 가지는 삼치 가중치 구조로 변환됨을 증명한다. 여기서 $ c = \frac{||\mathbf{x}||_2^2}{||\mathbf{x}||_1} $이다.
• 이 손실 함수는 비영인 가중치의 흩어진 분포와 낮은 엔트로피를 동시에 유도함으로써 전체적인 압축 가능성을 향상시킨다.
• 비영인 가중치에 대해 후처리 양자화를 적용하며, k-means 클러스터링을 사용한다(컨볼루션 레이어에 256개, 완전연결 레이어에 32개의 클러스터).
• 마스크 압축 전략을 적용하여, 비영인 가중치의 위치와 값만 저장함으로써 압축 효율성을 향상시킨다.
• 커리큘럼 학습 방식을 사용하여, 손실 가중치 $ \lambda $를 각 에포크마다 0에서 0.007로 점진적으로 증가시켜 학습 안정성과 고흡저 수준에서의 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 압축성 손실 $ \frac{||\mathbf{x}||_1}{||\mathbf{x}||_2} $를 최소화하면 흩어진 분포와 낮은 엔트로피를 가지는 가중치 분포를 동시에 달성할 수 있는가?
• RQ2 압축성 손실은 임계점에서 삼치 가중치 구조를 유도하는가? 이에 대한 이론적 근거는 무엇인가?
• RQ3 고흡저 수준에서 기존 최고 수준의 방법들과 비교했을 때, 본 방법은 압축 비율과 정확도 측면에서 어떻게 비교되는가?
• RQ4 학습 중에 손실 가중치를 점진적으로 증가시키는 것이 모델의 강인성과 압축 성능을 향상시키는가?
• RQ5 단순히 흩어진 분포나 양자화에 집중하는 방법들보다, 본 방법이 더 뛰어난 압축 효율성을 달성할 수 있는가?

주요 결과

• 압축성 손실은 임계점에서 삼치 가중치 구조를 유도하며, 비영인 가중치는 0을 중심으로 대칭되는 두 가지 값만을 가진다.
• 98% 흩어진 분포에서 본 방법은 102.76의 압축 비율을 달성하며, 극단적인 흩어진 수준에서 기존 기준 방법들보다 뚜렷이 뛰어나다.
• 커리큘럼 학습(램프 설정)을 사용할 경우, 97% 흩어진 분포에서 정확도가 85% 이상 유지되고, 98% 흩어진 분포에서는 76.57%를 유지하여 강인성을 입증한다.
• 정확도-압축 비율 트레이드오프 측면에서 UDNN을 초월하며, 유사하거나 더 높은 압축 비율에서 더 높은 정확도를 달성한다.
• 소형화 및 TDrop는 중간 수준의 흩어진 분포에서 더 높은 정확도를 달성하지만, CNET의 램프 학습을 통해 극단적인 흩어진 분포에서도 뛰어난 성능을 유지함으로써 더 뛰어난 압축 가능성을 입증한다.
• 마스크 압축은 압축 효율성을 향상시키며, 표준 압축 방식 대비 15.05의 비율을 달성함으로써 파ip라인 내에서의 유용성을 검증한다.