[논문 리뷰] Speeding up Convolutional Neural Networks with Low Rank Expansions

Max Jaderberg, Andrea Vedaldi외 1명|arXiv (Cornell University)|2014. 05. 15.

Advanced Neural Network Applications참고 문헌 32인용 수 543

한 줄 요약

이 논문은 교차 채널 및 필터 중복성을 활용하여 전체 랭크 필터를 랭크-1 공간 기반으로 근사화함으로써 컨volutional 신경망(CNN)의 추론 속도를 가속화하는 두 가지 저랭크 확장 기법을 제안한다. 시나리오 텍스트 인식 벤치마크에서 최대 4.5배의 속도 향상과 1% 미만의 정확도 손실을 기록하며, 아키텍처 변경 없이 실시간 추론을 가능하게 한다.

ABSTRACT

The focus of this paper is speeding up the evaluation of convolutional neural networks. While delivering impressive results across a range of computer vision and machine learning tasks, these networks are computationally demanding, limiting their deployability. Convolutional layers generally consume the bulk of the processing time, and so in this work we present two simple schemes for drastically speeding up these layers. This is achieved by exploiting cross-channel or filter redundancy to construct a low rank basis of filters that are rank-1 in the spatial domain. Our methods are architecture agnostic, and can be easily applied to existing CPU and GPU convolutional frameworks for tuneable speedup performance. We demonstrate this with a real world network designed for scene text character recognition, showing a possible 2.5x speedup with no loss in accuracy, and 4.5x speedup with less than 1% drop in accuracy, still achieving state-of-the-art on standard benchmarks.

연구 동기 및 목표

• 사전 학습된 컨volutional 신경망(CNN)의 추론에 소요되는 높은 계산 비용을 해결하기 위해, 특히 실시간 응용 분야에서의 성능을 향상시키는 것.
• 딥 네트워크에서 처리 시간을 지배하는 컨볼루션 레이어의 성능 저하 문제를 해결하는 것.
• 기존 CNN 아키텍처에 최소한의 수정으로 적용 가능한 일반 목적의, 아키텍처 독립적인 방법을 개발하는 것.
• 근사 정밀도를 제어함으로써 속도와 정확도 사이의 조정 가능한 트레이드오프를 제공하는 것.
• 실세계 응용 분야인 시나리오 텍스트 문자 인식에서 높은 속도 향상과 함께 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 두 가지 기법 제안: 기법 1은 수평 및 수직 랭크-1 필터를 사용해 전체 2D 필터 베이스를 근사함; 기법 2는 수평 기반 필터를 먼저 적용한 후 수직 조합을 통한 이중 단계 접근 방식을 사용함.
• SVD를 통한 저랭크 근사를 적용하여 필터 베이스를 분리 가능한 랭크-1 성분으로 분해함으로써 계산 복잡도를 감소시킴.
• 두 가지 최적화 전략 적용: 필터 복원(필터 근사 오차 최소화) 및 데이터 복원(활성화 데이터 상의 특징 맵 오차 최소화).
• 표준 컨볼루션 연산을 사용해 약간의 수정만으로 기존 프레임워크(Caffe 등)와의 호환성을 확보함.
• im2col 및 BLAS 연산을 효율적으로 활용하며, 기법 2는 3D 컨볼루션 루틴에 최적화되어 오버헤드를 최소화함.
• 근사된 레이어를 전체 네트워크에 통합하고, 벤치마크 작업에서의 엔드 투 엔드 성능을 위해 미세조정 또는 평가를 수행함.

실험 결과

연구 질문

• RQ1 CNN 내부의 교차 채널 및 상호 필터 중복성을 활용하여 정확도 손실이 크지 않은 상태에서 계산 비용을 줄일 수 있는가?
• RQ2 예를 들어 분리 가능한 필터 vs 기저 분해와 같은 다양한 저랭크 근사 기법 간의 성능 비교에서 속도 향상 및 복원 정밀도 측면에서 어떤 차이가 있는가?
• RQ3 특징 맵 오차를 최소화하는 데이터 기반 최적화가 필터 복원보다 정확도 유지 측면에서 더 뛰어나게 작용할 수 있는가?
• RQ4 제안된 방법이 실세계 CNN에서 높은 속도 향상을 달성하면서도 최신 기술 수준의 성능을 유지할 수 있는가?
• RQ5 이 방법은 다양한 네트워크 레이어와 아키텍처에서 어떻게 확장되는가? 다른 가속 기법과 조합 가능성이 있는가?

주요 결과

• 시나리오 텍스트 문자 인식 벤치마크에서 2.5배의 속도 향상과 정확도 손실 없음, 4.5배의 속도 향상과 1%의 정확도 손실만 기록하며 여전히 최신 기술 수준의 성능 달성.
• 기법 2는 이론적 복원 오차가 더 높음에도 불구하고 Caffe의 3D 컨볼루션 최적화와 더 잘 맞아떨어져 실제 추론 속도에서 기법 1을 능가함.
• 동일한 속도 향상 수준에서 데이터 복원 최적화가 필터 복원보다 더 낮은 복원 오차를 기록함. 특히 분포 외 데이터에서도 동일한 결과를 확인함.
• 유사한 레이어 구성 조건에서 FFT 기반 CNN보다 더 높은 속도 향상을 기록함. 256개의 기저 필터를 사용할 경우 실제 속도 향상 2.4배를 달성함(기존 연구 대비 2.2배).
• 기존 저랭크 방법보다 우수한 성능: ImageNet에서 2배 이론적 속도 향상과 0.5%의 top-5 정확도 손실을 기록함(기존 연구 대비 1.2% 대비).
• 기존 프레임워크와 호환되며, 양자화나 하드웨어 특화 최적화와 같은 다른 가속 기법과 조합 가능함.