[논문 리뷰] Trained Rank Pruning for Efficient Deep Neural Networks

Yuhui Xu, Yuxi Li외 8명|arXiv (Cornell University)|2019. 10. 09.

Advanced Neural Network Applications참고 문헌 41인용 수 14

한 줄 요약

이 논문은 깊이 신경망의 학습 과정에 저질서 근사와 노름 정규화를 통합하는 Trained Rank Pruning (TRP)을 제안한다. 이는 성능 손실 최소화로 인해 모델이 자연스럽게 저질서 구조를 채택하도록 한다. TRP는 저질서 근사와 확률적 하향 기울기 학습을 번갈아 수행함으로써 압축 후 보정이 필요 없으며, CIFAR-10과 ImageNet에서 최고 성능을 기록한다.

ABSTRACT

To accelerate DNNs inference, low-rank approximation has been widely adopted because of its solid theoretical rationale and efficient implementations. Several previous works attempted to directly approximate a pre-trained model by low-rank decomposition; however, small approximation errors in parameters can ripple over a large prediction loss. Apparently, it is not optimal to separate low-rank approximation from training. Unlike previous works, this paper integrates low rank approximation and regularization into the training process. We propose Trained Rank Pruning (TRP), which alternates between low rank approximation and training. TRP maintains the capacity of the original network while imposing low-rank constraints during training. A nuclear regularization optimized by stochastic sub-gradient descent is utilized to further promote low rank in TRP. Networks trained with TRP has a low-rank structure in nature, and is approximated with negligible performance loss, thus eliminating fine-tuning after low rank approximation. The proposed method is comprehensively evaluated on CIFAR-10 and ImageNet, outperforming previous compression counterparts using low rank approximation. Our code is available at: https://github.com/yuhuixu1993/Trained-Rank-Pruning.

연구 동기 및 목표

• 사전 학습된 모델의 후기 압축 시 저질서 분해에서 발생하는 근사 오차로 인한 성능 저하 문제를 해결하기 위해.
• 저질서 근사 후 보정이 필요 없도록 학습 과정에 직접 저질서 제약 조건을 통합하기 위해.
• 가중치 행렬과 노름 정규화를 함께 최적화하여 원래 네트워크의 용량을 유지하면서 저질서 구조를 촉진하기 위해.
• 모델 정확도를 손상시키지 않으면서도 구조적 파rameter 감소를 통해 효율적인 추론을 달성하기 위해.

제안 방법

• TRP는 학습 중에 가중치 행렬의 저질서 근사와 확률적 경사 하강 갱신을 번갈아 수행한다.
• 핵심 정규화 항은 확률적 하향 기울기 하강을 통해 최적화되어 저질서 해를 장려한다.
• 이 방법은 저질서 제약 조건을 직접 학습 루프에 통합하여, 네트워크가 처음부터 저질서 구조를 학습하도록 보장한다.
• 가중치 행렬은 학습 도중 저질서 요인으로 분해되며, 이 때 질서는 정규화 강도로 제어된다.
• 모델 용량을 유지하고 초기 단계부터 근사 오차를 최소화함으로써, 복구 후 보정을 피하는 데 성공한다.

실험 결과

연구 질문

• RQ1 후기 압축 분해와 비교해 복잡도를 낮추기 위해 저질서 근사를 학습 과정에 효과적으로 통합할 수 있는가?
• RQ2 학습 중에 저질서 구조와 모델 정확도를 함께 최적화함으로써 압축 후 보정이 필요 없어지는가?
• RQ3 기존의 저질서 압축 방법과 비교해 표준 벤치마크에서 정확도와 파라미터 효율성 측면에서 TRP는 어떻게 성과를 내는가?
• RQ4 핵심 노름 정규화가 학습 도중 깊이 신경망의 저질서 구조를 얼마나 효과적으로 촉진하는가?

주요 결과

• TRP는 전체 정밀도 모델과 비교해 거의 손실이 없는 성능으로 CIFAR-10과 ImageNet에서 최고 수준의 압축 성능을 달성한다.
• 저질서 근사 후 보정이 필요 없어지면서 추론 배포의 복잡성이 감소한다.
• 학습 과정에 저질서 제약 조건을 통합함으로써 TRP는 더 높은 모델 용량을 유지하고 근사 오차 전파를 줄인다.
• 확률적 하향 기울기 하강을 통한 핵심 정규화가 훈련된 가중치에서 저질서 구조를 효과적으로 촉진한다.