[논문 리뷰] Learning Low-Rank Approximation for CNNs

Dongsoo Lee, Se Jung Kwon외 2명|arXiv (Cornell University)|2019. 05. 24.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 13

한 줄 요약

이 논문은 기존 모델 구조를 변경하지 않고 학습 중에 저질서 분해 유도 노이즈를 가중치에 주입함으로써 CNN의 고압축 저질서 근사화를 가능하게 하는 새로운 훈련 기법 DeepTwist를 제안한다. 기존 아키텍처를 유지함으로써 im2col 변환을 통한 효율적 2D SVD가 가능해지고, 특히 고압축 비율에서 기존의 미세조정 기법보다 높은 모델 정확도를 달성한다. DeepTwist 하에서 타일링된 SVD는 CIFAR-10 및 ImageNet 벤치마크에서 Tucke 분해를 능가한다.

ABSTRACT

Low-rank approximation is an effective model compression technique to not only reduce parameter storage requirements, but to also reduce computations. For convolutional neural networks (CNNs), however, well-known low-rank approximation methods, such as Tucker or CP decomposition, result in degraded model accuracy because decomposed layers hinder training convergence. In this paper, we propose a new training technique that finds a flat minimum in the view of low-rank approximation without a decomposed structure during training. By preserving the original model structure, 2-dimensional low-rank approximation demanding lowering (such as im2col) is available in our proposed scheme. We show that CNN models can be compressed by low-rank approximation with much higher compression ratio than conventional training methods while maintaining or even enhancing model accuracy. We also discuss various 2-dimensional low-rank approximation techniques for CNNs.

연구 동기 및 목표

• Tucker 또는 CP 분해와 같은 기존 분해 방법을 사용할 경우 CNN에 저질서 근사화를 적용할 때 발생하는 모델 정확도 저하 문제를 해결하기 위해.
• 학습 중에 기존 모델 아키텍처를 유지함으로써 CNN에 효과적인 2D 저질서 근사화(예: SVD)를 가능하게 하기 위해.
• 저질서 근사화에 의해 유도되는 매개변수 오차에 강건한 평탄한 최소값을 찾는 훈련 전략을 개발하기 위해.
• im2col 변환과 SVD 기반 저질서 근사화를 결합함으로써 압축 효율성과 정확도를 향상시키기 위해.
• SVD 기반 방법이 DeepTwist로 훈련될 경우 Tucke 분해를 초월하는 정확도와 압축 비율을 달성할 수 있음을 입증하기 위해.

제안 방법

• DeepTwist는 고정 간격(매 $S_D$ 배치마다)으로 네트워크 가중치를 저질서 근사화(예: SVD)를 통해 왜곡함으로써 모델 구조를 변경하지 않고 노이즈를 주입한다.
• 이 방법은 전체 훈련 과정 동안 기존 CNN 아키텍처를 유지함으로써 im2col 기반 내림내림 기법과의 호환성을 확보한다.
• 왜곡 단계에서 가중치 텐서에 저질서 근사화를 적용하고, 분해된 텐서의 곱셈을 통해 재구성함으로써 매개변수 오차를 시뮬레이션한다.
• 손실 표면이 근사 오차 대비 충분히 평탄하지 않은 경우, 가중치를 왜곡함으로써 날카로운 최소값을 회피한다.
• 고정된 타일 크기(예: 64×64)를 사용하여 타일링된 SVD를 적용하고, 각 타일을 독립적으로 질서 $r$로 분해함으로써 확장성 있고 효율적인 저질서 근사화를 가능하게 한다.
• 분해된 구조에 대한 미세조정이 필요 없도록 하여, 훈련 후 변환된 모델을 직접 배포할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고압축 비율에서 저질서 근사화를 적용함에도 불구하고 모델 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 Tucker 또는 CP 분해와 같은 기존 저질서 방법은 미세조정을 거치더라도 왜 모델 정확도가 저하되는가?
• RQ3 학습 중에 저질서 근사화 유도 노이즈를 주입함으로써 매개변수 근사 오차에 강건한 평탄한 최소값을 찾을 수 있는가?
• RQ4 기존 모델 아키텍처를 유지함으로써 CNN에서 im2col 변환을 통한 효과적인 2D SVD를 구현할 수 있는가?
• RQ5 SVD와 Tucke 분해를 비교할 때, DeepTwist는 기존의 미세조정 기법에 비해 정확도와 압축 효율성 측면에서 어떻게 다른가?

주요 결과

• VGG19(CIFAR-10)에서 DeepTwist를 활용한 타일링된 SVD는 4.00× 압축 비율에서 92.07%의 top-1 정확도를 달성하며, 유사 비율에서 Tucke 분해를 능가한다.
• VGG19에서 DeepTwist를 적용한 타일링된 SVD는 2.00× 압축 비율에서 92.42%의 정확도를 유지하며, 사전 훈련된 모델의 92.37% 정확도를 초월한다.
• ResNet-34(ImageNet)에서 타일링된 SVD는 DeepTwist를 통해 3.1× 압축 비율에서 73.00%의 top-1 정확도를 달성하며, Tucke 분해의 72.31%를 초월한다.
• 기존 모델 아키텍처를 유지함으로써 CNN에서 im2col 기반 내림내림 기법을 활용한 효과적인 2D SVD를 실현할 수 있다.
• 기존의 미세조정 기법에 비해 DeepTwist는 저질서 근사화를 위한 훈련 과정에서 손실과 테스트 정확도를 전반적으로 향상시킨다.
• 왜곡 간격 $S_D$와 타일 크기의 선택이 최종 정확도에 미치는 영향이 미미하여, 이 방법이 강건하고 배포가 용이함을 시사한다.