[논문 리뷰] Convolutional neural networks with low-rank regularization

Cheng Tai, Tong Xiao외 3명|arXiv (Cornell University)|2016. 01. 01.

Advanced Neural Network Applications인용 수 279

한 줄 요약

이 논문은 컨volutional 신경망(CNNs)을 정제하기 위한 새로운 저질서 텐서 분해 알고리즘을 제안하며, 커널 중복을 정확하게 전역 최적화할 수 있도록 한다. 이 방법은 저질서 제약이 가해진 CNN을 처음부터 훈련시키며, VGG-16와 같은 모델에서 최대 50% 빠른 추론 속도(예: 50% 빠름)를 달성하면서도 정확도는 향상되거나 동일한 성능을 보인다. 예를 들어, 데이터 증강 없이 CIFAR-10에서 91.31%의 상위-1 정확도를 달성하여 기존 최고 성능를 초월한다.

ABSTRACT

Abstract: Large CNNs have delivered impressive performance in various computer vision applications. But the storage and computation requirements make it problematic for deploying these models on mobile devices. Recently, tensor decompositions have been used for speeding up CNNs. In this paper, we further develop the tensor decomposition technique. We propose a new algorithm for computing the low-rank tensor decomposition for removing the redundancy in the convolution kernels. The algorithm finds the exact global optimizer of the decomposition and is more effective than iterative methods. Based on the decomposition, we further propose a new method for training low-rank constrained CNNs from scratch. Interestingly, while achieving a significant speedup, sometimes the low-rank constrained CNNs delivers significantly better performance than their non-constrained counterparts. On the CIFAR-10 dataset, the proposed low-rank NIN model achieves $91.31\%$ accuracy (without data augmentation), which also improves upon state-of-the-art result. We evaluated the proposed method on CIFAR-10 and ILSVRC12 datasets for a variety of modern CNNs, including AlexNet, NIN, VGG and GoogleNet with success. For example, the forward time of VGG-16 is reduced by half while the performance is still comparable. Empirical success suggests that low-rank tensor decompositions can be a very useful tool for speeding up large CNNs.

연구 동기 및 목표

• 모바일 배포를 위한 큰 CNN의 계산 및 저장 비용을 줄이기 위해.
• 저질서 텐서 분해를 계산하는 데 있어 반복적 방법의 비효율성을 해결하기 위해.
• 초기화부터 저질서 CNN을 훈련시킬 수 있는 방법을 개발하기 위해.
• 저질서 제약이 단순한 속도 향상 외에도 일반화 성능 향상에 기여할 수 있는지 탐구하기 위해.

제안 방법

• 반복적 방법에서 발생하는 국소 최적해를 피하기 위해 정확한 전역 최적해를 찾는 새로운 알고리즘을 제안하여 저질서 텐서 분해를 계산한다.
• 텐서 분해를 컨볼루션 커널에 적용하여 중복을 제거하고 파라미터 수를 줄인다.
• 랜덤 초기화로부터 시작하여 저질서 제약이 가해진 CNN을 훈련시키는 절차를 도입한다.
• 3D/4D 컨볼루션 커널을 더 작은 저질서 구성 요소로 표현하기 위해 터커 분해 또는 유사한 저질서 분해 기법을 사용한다.
• 학습 중에 저질서 모델을 구조적 제약을 유지하면서 종단 간 최적화한다.
• 정확한 최적화를 통해 분해가 전역적으로 최적임을 보장함으로써 안정성과 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 정확한 저질서 텐서 분해가 커널 압축에서 반복적 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 초기화부터 저질서 CNN을 훈련시킬 경우, 전체 질서 모델 대비 더 높거나 동일한 정확도를 달성할 수 있는가?
• RQ3 저질서 제약이 일반화 성능 향상에 기여하여 비제약 모델보다 더 높은 정확도를 낼 수 있는가?
• RQ4 성능을 손상시키지 않고 추론 속도를 얼마나 빠르게 개선할 수 있는가?

주요 결과

• 제안된 저질서 NIN 모델은 데이터 증강 없이 CIFAR-10에서 91.31%의 상위-1 정확도를 달성하여 기존 최고 성능를 초월한다.
• 저질서 분해를 사용함으로써 VGG-16의 전방 추론 시간이 50% 감소했으며, 성능은 유사하게 유지되었다.
• 이 방법은 AlexNet, NIN, VGG, GoogleNet 등 여러 아키텍처를 CIFAR-10 및 ILSVRC12 모두에서 성공적으로 가속화했다.
• 놀랍게도, 저질서 제약이 가해진 모델이 때때로 전체 질서 모델보다 더 뛰어난 성능를 보였으며, 이는 정규화 효과가 있을 수 있음을 시사한다.
• 반복적 방법보다 정확한 최적화 알고리즘이 더 효과적이었으며, 더 나은 수렴성과 성능 향상을 이끌어냈다.