[논문 리뷰] Scalable Deep Neural Networks via Low-Rank Matrix Factorization

Atsushi Yaguchi, Taiji Suzuki외 3명|arXiv (Cornell University)|2019. 09. 25.

Advanced Neural Network Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 저질서 행렬 분해를 통한 확장 가능한 딥 네ural 네트워크를 생성하는 방법인 Decomposable-Net을 제안한다. 이 방법은 재학습 없이도 모델 크기를 영리하게 조정할 수 있도록 한다. 전체 질서와 저질서 네트워크를 함께 최적화하고, 근사 오차 분석에 기반한 질서 선택 기준을 사용함으로써, 다양한 압축 수준에서 최신 기술 수준의 정확도를 달성한다. 특히 ResNet-50를 사용하여 ImageNet에서 0.27× MACs로 73.2%의 top-1 정확도를 달성한다.

ABSTRACT

Compressing deep neural networks (DNNs) is important for real-world applications operating on resource-constrained devices. However, it is not straightforward to change the model size (i.e., computational complexity) once training and compression are completed, calling for retraining to construct models suitable for different devices. In this paper, we propose a novel method, Decomposable-Net (the network decomposable in any size), which allows flexible changes to model size without retraining. We decompose weight matrices in the DNNs via singular value decomposition and adjust ranks according to the target model size. Unlike the existing methods, (1) we propose a learning method that explicitly minimizes losses for both of full-rank and low-rank networks, which is designed not only to maintain the performance of a full-rank network but also to improve multiple low-rank networks in a single model. (2) We also provide a mathematical analysis for the scalability of the approximation error with respect to the rank in each layer. Moreover, on the basis of the analysis, (3) we introduce a simple criterion for rank selection that effectively suppresses approximation error. In experiments on image-classification tasks on CIFAR-10/100 and ImageNet datasets, Decomposable-Net yields favorable performance in a broader range of compressed models. In particular, Decomposable-Net achieves the top-1 accuracy of $73.2\%$ with $0.27 imes$MACs on the ImageNet classification task with ResNet-50, compared to low-rank tensor (Tucker) decomposition ($67.4\% / 0.30 imes$) and universally slimmable networks ($70.6\% / 0.26 imes$).

연구 동기 및 목표

• 다양한 계산 예산을 가진 자원 제약이 있는 장치에 압축된 딥 네럴 네트워크를 구현하는 데 도전하는 것.
• 각 목표 모델 크기마다 재학습이 필요한 기존 압축 방법의 한계를 극복하는 것.
• 질서 조정을 통해 동적으로 여러 가지 추론 크기를 지원할 수 있도록 단일 학습 모델을 제공하는 것.
• 전체 질서와 저질서 네트워크 목표를 함께 최적화하여, 광범위한 압축 수준에서 높은 성능을 유지하는 것.
• 근사 오차를 최소화하기 위해 각 레이어의 최적 질서를 선택하는 원리적인, 수학적으로 기반을 둔 기준을 제공하는 것.

제안 방법

• 딥 네럴 네트워크의 가중치 행렬을 특이값 분해(SVD)를 사용하여 저질서 근사화할 수 있도록 분해한다.
• 통합 손실 함수를 통해 단일 모델을 동시에 전체 질서 및 다수의 저질서 변형을 최적화하도록 훈련한다.
• 전체 질서 및 저질서 네트워크 손실를 모두 최소화하는 새로운 학습 목표를 도입하여, 성능 유지 및 향상을 보장한다.
• 각 레이어에서 질서에 따른 근사 오차 스케일링의 이론적 분석을 유도하여, 원리적인 질서 선택을 가능하게 한다.
• 표현력과 압축을 균형 잡는 데 초점을 맞춘 단순한 데이터 기반 질서 선택 기준을 제안하여 근사 오차를 억제한다.
• 표준 이미지 분류 벤치마크에서 전체적으로 적용하여, ResNet-50를 사용한 CIFAR-10/100 및 ImageNet을 포함한다.

실험 결과

연구 질문

• RQ1 저질서 분해를 통해 재학습 없이도 단일 딥 네럴 네트워크가 여러 가지 모델 크기를 지원할 수 있는가?
• RQ2 전체 질서 및 저질서 네트워크를 함께 최적화하면 다양한 압축 수준에서 성능에 어떤 영향을 미치는가?
• RQ3 분해된 DNN의 각 레이어에서 근사 오차와 질서 사이의 이론적 관계는 무엇인가?
• RQ4 근사 오차를 최소화하면서도 높은 정확도를 유지하기 위해 원리적인 질서 선택 기준을 도출할 수 있는가?
• RQ5 기존의 압축 기법인 Tucker 분해 및 보편적으로 얇아지는 네트워크와 비교했을 때, 제안된 방법은 정확도와 효율성 측면에서 어떻게 다른가?

주요 결과

• Decomposable-Net은 ResNet-50를 사용하여 ImageNet에서 0.27× MACs로 73.2%의 top-1 정확도를 달성했으며, 저질서 Tucker 분해(0.30× MACs에서 67.4%)를 뛰어넘었다.
• 약간 적은 MACs(0.27× vs. 0.26×)를 사용하면서도 유니버설리 슬림블 네트워크(70.6%)보다 더 높은 정확도(73.2%)를 달성했다.
• 이 방법은 광범위한 압축 수준에서 높은 성능을 유지하여 강력한 확장성을 입증했다.
• 이론적 분석은 근사 오차가 질서가 증가함에 따라 예측 가능하게 감소함을 확인하여, 질서 선택 기준의 타당성을 뒷받침했다.
• 통합 훈련 목표는 전체 질서 성능을 유지하면서도 저질서 변형의 성능을 향상시켜 재학습이 필요 없음을 입증했다.
• 제안된 질서 선택 기준은 근사 오차를 효과적으로 억제하여, 초모수 조정 없이도 정확한 저질서 추론을 가능하게 했다.