[논문 리뷰] Exploiting Local Structures with the Kronecker Layer in Convolutional Networks

Shuchang Zhou, Jianan Wu외 2명|arXiv (Cornell University)|2015. 12. 31.

Advanced Neural Network Applications참고 문헌 27인용 수 29

한 줄 요약

이 논문은 완전히 연결된 및 컨볼루션 레이어의 큰 가중치 행렬을 더 작은 행렬의 크로네cker 곱의 합으로 대체하는 파라미터 효율적인 방법인 크로네cker 레이어를 제안한다. 이는 최대 3.6배의 파라미터 감소 또는 3.3배의 속도 향상을 가능하게 하며, 정확도 저하가 1% 미만이다. 이 방법은 낮은 랭크 근사보다 더 효과적으로 가중치 행렬의 국소적 구조적 부족을 활용하며, SVHN 및 CASIA-HWDB에서 최신 기술 수준의 성능을 달성한다. 모델 크기는 작아지고 추론 속도는 빨라진다.

ABSTRACT

In this paper, we propose and study a technique to reduce the number of parameters and computation time in convolutional neural networks. We use Kronecker product to exploit the local structures within convolution and fully-connected layers, by replacing the large weight matrices by combinations of multiple Kronecker products of smaller matrices. Just as the Kronecker product is a generalization of the outer product from vectors to matrices, our method is a generalization of the low rank approximation method for convolution neural networks. We also introduce combinations of different shapes of Kronecker product to increase modeling capacity. Experiments on SVHN, scene text recognition and ImageNet dataset demonstrate that we can achieve $3.3 imes$ speedup or $3.6 imes$ parameter reduction with less than 1\% drop in accuracy, showing the effectiveness and efficiency of our method. Moreover, the computation efficiency of Kronecker layer makes using larger feature map possible, which in turn enables us to outperform the previous state-of-the-art on both SVHN(digit recognition) and CASIA-HWDB (handwritten Chinese character recognition) datasets.

연구 동기 및 목표

• 자원 제한된 장치에 효율적으로 배포하기 위해 합성곱 신경망의 파라미터 수와 계산 시간을 줄이기 위해.
• 표준 낮은 랭크 근사에서 포착되지 않는 가중치 행렬과 텐서의 국소적 구조 패턴을 활용하기 위해.
• 외적 기반 낮은 랭크 방법을 고차원 국소 구조로 일반화하는 크로네커 곱을 사용한 일반화 가능한 프레임워크를 개발하기 위해.
• 크로네커 기반 압축이 동일한 모델 크기에서 이전 방법보다 빠른 추론과 높은 정확도를 달성할 수 있음을 입증하기 위해.
• 표준 딥러닝 프레임워크와 호환되는 효율적이고 미분 가능한 크로네커 레이어의 구현을 제공하기 위해.

제안 방법

• 크로네커 레이어는 큰 가중치 행렬을 더 작은 행렬의 크로네cker 곱의 합으로 대체하여, 국소적 공간적 구조를 포착함으로써 낮은 랭크 근사의 일반화를 이루는 방식이다.
• 표현식 (A ⊗ B)vec(X) = vec(B X A^T)를 활용하여 표준 행렬 곱셈과 리쉐이프 연산을 사용해 전방 전파를 효율적으로 계산한다.
• 크로네커 구성 요소의 다양한 형상과 랭크를 지원함으로써 모델 크기, 속도, 정확도 간의 탄력적인 트레이드오���을 가능하게 한다.
• 필터를 더 작은 커널의 크로네cker 곱으로 재정의함으로써 컨볼루션 레이어로 확장하여 국소적 공간적 패턴을 유지한다.
• 학습 안정성을 높이기 위해 새로운 초기화 기법을 도입하였으며, 각 크로네커 구성 요소 이후에 비선형성을 적용하여 표현 능력을 향상시켰다.
• 표준 딥러닝 연산을 사용해 구현되어, 커스텀 커널 없이도 효율적인 CPU 및 GPU 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 크로네커 곱 기반 분해는 표준 낮은 랭크 근사보다 신경망 가중치의 국소적 구조적 부족을 더 효과적으로 활용할 수 있는가?
• RQ2 크로네커 레이어는 벤치마크 비전 작업에서 높은 정확도를 유지하면서 모델 크기와 추론 시간을 얼마나 줄일 수 있는가?
• RQ3 다양한 형상과 랭크를 가진 여러 크로네커 곱의 조합은 파라미터 효율성과 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 크로네커 레이어는 SVD나 낮은 랭크 분해와 같은 기존 압축 기법보다 속도와 정확도 면에서 뛰어나게 성능을 냈는가?
• RQ5 크로네커 레이어의 사용으로 인해 계산량이 감소해 더 큰 특징 맵을 사용할 수 있게 되었는가? 이는 인식 작업 성능 향상으로 이어지는가?

주요 결과

• SVHN 데이터셋에서 크로네커 레이어는 기준 모델 대비 정확도 저하가 1% 미만이면서 최대 3.3배의 속도 향상 또는 3.6배의 파라미터 감소를 달성했다.
• CASIA-HWDB 수기 중국어 문자 인식 데이터셋에서 크로네커 기반 모델은 유사한 모델 크기로 이전 최신 기술을 초월했다.
• ImageNet에서 KFC-3 모델은 기준 모델 대비 파라미터를 10배 감소시켜 610만 개로 줄였고, 상위-1 오차는 2.72% 증가에 그쳤으며, 동일 압축 비율에서 SVD-3를 능가했다.
• 총 랭크 구성 요소 40개를 가진 KFC 레이어는 표준 완전 연결 레이어 대비 92%의 파라미터를 절감하면서도 ICDAR’13에서 높은 정확도를 유지했다.
• 실험 결과 크로네커 레이어는 표준 연산만으로 효율적으로 구현되어 CPU에서도 빠른 추론이 가능했으며, 정확도-속도 트레이드오프를 위한 탄력적인 하이퍼파라미터 튜닝을 지원했다.
• 이미지 근사 비교를 통해 크로네커 곱 기반 방법은 외적 기반 낮은 랭크 근사보다 더 뛰어난 재구성 효율성을 보였다.