[논문 리뷰] Holistic SparseCNN: Forging the Trident of Accuracy, Speed, and Size

Jongsoo Park, Sheng R. Li외 4명|arXiv (Cornell University)|2016. 01. 01.

Advanced Neural Network Applications인용 수 28

한 줄 요약

이 논문은 임의의 희박성 패턴을 지원하는 효율적인 희소 컨볼루션 연산을 통해 모델 정확도, 추론 속도, 모델 크기의 동시에 향상시키는 Holistic SparseCNN를 제안한다. 다양한 아키텍처에서 AlexNet의 밀도 컨볼루션 대비 3.1–7.3×의 속도 향상을 달성하며, 새로운 희소-밀도 행렬 곱셈 커널과 최적의 희박성 수준을 예측하는 성능 모델을 활용한다.

ABSTRACT

Phenomenally successful in practical inference problems, convolutional neural networks (CNN) are widely deployed in mobile devices, data centers, and even supercomputers. The number of parameters needed in CNNs, however, are often large and undesirable. Consequently, various methods have been developed to prune a CNN once it is trained. Nevertheless, the resulting CNNs offer limited benefits. While pruning the fully connected layers reduces a CNN's size considerably, it does not improve inference speed noticeably as the compute heavy parts lie in convolutions. Pruning CNNs in a way that increase inference speed often imposes specific sparsity structures, thus limiting the achievable sparsity levels. We present a method to realize simultaneously size economy and speed improvement while pruning CNNs. Paramount to our success is an efficient general sparse-with-dense matrix multiplication implementation that is applicable to convolution of feature maps with kernels of arbitrary sparsity patterns. Complementing this, we developed a performance model that predicts sweet spots of sparsity levels for different layers and on different computer architectures. Together, these two allow us to demonstrate 3.1--7.3$ imes$ convolution speedups over dense convolution in AlexNet, on Intel Atom, Xeon, and Xeon Phi processors, spanning the spectrum from mobile devices to supercomputers. We also open source our project at this https URL.

연구 동기 및 목표

• 기존의 CNN 프루닝 기법이 모델 크기를 줄임에도 불구하고 추론 속도 향상을 이루지 못하는 한계를 해결하기 위해.
• 커널과 활성 맵에서 임의의 희박성 패턴을 지원함으로써 컨볼루션 추론의 빠른 속도 향상을 가능하게 하기 위해.
• 다양한 레이어와 하드웨어 아키텍처에 적합한 최적의 희박성 수준을 예측하는 성능 모델을 개발하기 위해.
• 실제 시스템에서 모델 압축과 실제 추론 속도 향상 간 격차를 메우기 위해.
• 모바일, 서버, 슈퍼컴퓨터 플랫폼 전반에 걸쳐 희소 CNN을 효율적으로 배포할 수 있는 실용적이고 오픈소스 솔루션을 제공하기 위해.

제안 방법

• 임의의 희박성 패턴을 지원하는 효율적인 일반 희소-밀도 행렬 곱셈 커널 설계를 통해 컨볼루션에서의 희소 연산을 최적화하기 위해.
• 하드웨어 특성과 레이어별 컴퓨팅 패턴을 기반으로 각 레이어의 최적 희박성 수준을 예측하는 성능 모델 통합하기 위해.
• 정확도를 유지하면서도 고속 추론을 가능하게 하기 위해 구조적 및 비구조적 프루닝을 CNN에 적용하기 위해.
• 성능 모델을 활용해 프루닝 결정을 이끌어내어, 타겟 하드웨어에서 최대 속도 향상을 달성하는 희박성 수준을 확보하기 위해.
• Intel 플랫폼(Atom, Xeon, Xeon Phi 포함)에서 메서드를 구현하여 다양한 아키텍처 간 성능를 검증하기 위해.
• 재현 가능성과 다양한 시스템에서의 실질적 배포를 위해 구현을 오픈소스로 제공하기 위해.

실험 결과

연구 질문

• RQ1 CNN 커널에서 임의의 희박성 패턴을 효율적으로 활용하여 정확도를 훼손하지 않고 추론 속도를 가속화할 수 있는가?
• RQ2 다양한 레이어와 하드웨어 플랫폼에서 최대 속도 향상을 이끌어내는 희박성 수준는 무엇인가?
• RQ3 성능 모델이 정확하게 최적의 희박성 수준를 예측하여 속도, 크기, 정확도 간 균형을 이룰 수 있는가?
• RQ4 모바일, 서버, 슈퍼컴퓨터 시스템 전반에서 희소 컨볼루션 연산이 얼마나 높은 속도 향상을 달성할 수 있는가?
• RQ5 희소 계산과 성능 모델링의 조합이 CNN의 통합 최적화를 어떻게 가능하게 하는가?

주요 결과

• Holistic SparseCNN는 Intel Atom, Xeon, Xeon Phi 프로세서에서 AlexNet의 밀도 컨볼루션 대비 3.1–7.3×의 속도 향상을 달성한다.
• 이 방법은 효율적인 희소 컨볼루션 연산을 통해 모델 크기, 추론 속도, 정확도의 동시에 향상시키는 데 성공한다.
• 성능 모델은 다양한 레이어와 하드웨어 아키텍처에 적합한 최적의 희박성 수준를 성공적으로 식별하여 최대 속도 향상을 달성한다.
• 새로운 희소-밀도 행렬 곱셈 커널을 통해 임의의 희박성 패턴이 효율적으로 지원되어 높은 유연성과 성능을 확보한다.
• 오픈소스 구현을 통해 모바일 기기에서 슈퍼컴퓨터에 이르기까지 광범위한 시스템에서의 배포가 가능하다.
• 완전 연결 레이어의 프루닝만으로는 속도 향상이 부족하지만, 성능 모델로 최적화된 희소 컨볼루션은 상당한 성능 향상을 이룬다.