[논문 리뷰] Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition

Vadim Lebedev, Yaroslav Ganin외 3명|arXiv (Cornell University)|2014. 12. 19.

Tensor decomposition and applications참고 문헌 15인용 수 331

한 줄 요약

이 논문은 4차원 컨volution 레이어 텐서에 비선형 최소제곱(NLS) 기반의 CP 분해를 적용하여 컨volution 신경망(CNNs)의 추론 속도를 향상시키는 이단계 방법을 제안한다. 각 레이어는 작은 커널을 사용하는 네 개의 컨volution 레이어로 대체되며, 이로 인해 CPU에서 최대 8.5배의 속도 향상과 1% 이내의 정확도 저하를 달성한다. 36개 클래스의 문자 분류 네트워크에서는 1%의 정확도 저하로 8.5배의 속도 향상을, AlexNet에서는 1%의 상위-5 오차 증가로 4배의 속도 향상을 기록하며, 미세조정을 통해 기존 방법보다 뛰어난 속도-정확도 트레이드오프를 달성한다.

ABSTRACT

We propose a simple two-step approach for speeding up convolution layers within large convolutional neural networks based on tensor decomposition and discriminative fine-tuning. Given a layer, we use non-linear least squares to compute a low-rank CP-decomposition of the 4D convolution kernel tensor into a sum of a small number of rank-one tensors. At the second step, this decomposition is used to replace the original convolutional layer with a sequence of four convolutional layers with small kernels. After such replacement, the entire network is fine-tuned on the training data using standard backpropagation process. We evaluate this approach on two CNNs and show that it is competitive with previous approaches, leading to higher obtained CPU speedups at the cost of lower accuracy drops for the smaller of the two networks. Thus, for the 36-class character classification CNN, our approach obtains a 8.5x CPU speedup of the whole network with only minor accuracy drop (1% from 91% to 90%). For the standard ImageNet architecture (AlexNet), the approach speeds up the second convolution layer by a factor of 4x at the cost of $1\%$ increase of the overall top-5 classification error.

연구 동기 및 목표

• 저성능 CPU 및 모바일 장치에 배포하기 위해 대규모 컨볼루션 신경망(CNNs)의 계산 및 메모리 비용을 줄이는 것.
• 컨볼루션 레이어의 파rameter 수를 크게 줄이면서도 높은 정확도를 유지하는 데 도전하는 것.
• 더 정확한 분해 기법과 특징 기반의 미세조정을 사용하여 기존 텐서 분해 기반 방법을 개선하는 것.
• 낮은 질량의 CP 분해와 전역적 미세조정이 기존 접근법보다 더 우수한 속도-정확도 트레이드오프를 제공함을 보여주는 것.
• 실제 CNN 아키텍처, 특히 자체 개발한 문자 분류기와 ImageNet 규모의 AlexNet에서 이 방법의 효과를 검증하는 것.

제안 방법

• 4차원 컨볼루션 커널 텐서의 저질량 CP 분해를 위해 비선형 최소제곱(NLS)을 적용하여 순위-1 텐서의 합으로 분해한다.
• 각 원본 컨볼루션 레이어를 CP 성분에서 유도된 작은 2D 커널을 사용하는 네 개의 디프트와이즈 유사 컨볼루션 레이어의 시퀀스로 대체한다.
• 레이어 교체 후 표준 backpropagation를 사용해 전체 네트워크를 미세조정하여 정확도를 복구하고, 경우에 따라 향상시킨다.
• CNN 커널의 텐서 대수학적 구조를 활용하여 커스텀 레이어를 구현할 필요 없이 효율적인 분해와 레이어 교체를 가능하게 한다.
• CP 분해의 랭크를 하이퍼파rameter로 사용하여 속도 향상과 정확도 손실 사이의 트레이드오프를 제어한다.
• 고품질의 초기화가 중요한 것을 입증하기 위해 NLS 기반 분해와 그레디 알고리즘, 무작위 초기화의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 4차원 컨볼루션 커널에 대한 NLS 기반 CP 분해가 그레디 분해 방법보다 CNN에서 더 나은 속도-정확도 트레이드오프를 이끌 수 있는가?
• RQ2 CP 분해 후 특징 기반의 미세조정이 비-미세조정된 근사치에 비해 정확도를 크게 향상시키는가?
• RQ3 기존 텐서 분해 기반 접근법보다 더 높은 속도 향상을 달성하면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 초기 CP 분해의 품질(예: NLS 대 그레디)이 미세조정 후 최종 성능에 어떤 영향을 미치는가?
• RQ5 특히 공간적으로 변화하는 커널을 가진 레이어에서 이 방법이 파라미터 수와 메모리 프로파일을 얼마나 줄이는가?

주요 결과

• NLS 기반 CP 분해 방법은 36개 클래스의 문자 분류 CNN에서 8.5배의 CPU 속도 향상을 기록했으며, 정확도는 91%에서 90%로 1% 감소했다.
• AlexNet 아키텍처에서 두 번째 컨볼루션 레이어는 4배의 속도 향상을 기록했고, 상위-5 분류 오차는 1% 증가하여 실질적인 응용 가능성을 입증했다.
• NLS 기반 분해는 항상 그레디 분해보다 뛰어났으며, 일부 사례에서는 정확도 저하를 최대 20%포인트 감소시켰다(예: R=300일 때 AlexNet에서 그레디 분해 시 24.15% 감소 대비 NLS 기반 3.21% 감소).
• 미세조정은 특히 NLS를 통한 고품질 초기화와 결합되었을 때 성능 향상에 크게 기여했으며, 더 나은 초기 근사치가 더 나은 수렴을 이끌어냄을 확인했다.
• 이 방법은 근사화된 레이어의 파라미터 수를 수 배로 줄여 메모리 제약이 있는 환경에 적합한 더 컴act한 모델을 가능하게 했다.
• 이 방법은 정규화 효과를 보였으며, 높은 랭크 분해에서는 일반화 성능이 향상되는 경우도 있었고, 공간적으로 변화하는 커널을 가진 레이어에 응용 가능성이 있음을 보여주었다.