[논문 리뷰] Shift-based Primitives for Efficient Convolutional Neural Networks

Huasong Zhong, Xianggen Liu외 2명|arXiv (Cornell University)|2018. 09. 22.

Advanced Neural Network Applications참고 문헌 31인용 수 14

한 줄 요약

이 논문은 메모리 복사나 부동소수점 연산 없이 특징 맵 포인터 재구성으로 인해 컴act한 CNN에서 추론을 가속화하는 GPU 최적화된 세 가지 시프트 기반 원천 — 채널 시프트, 주소 시프트, 스키프트 시프트 — 를 소개한다. 제안된 AddressNet 및 개선된 AddressNet 아키텍처는 CIFAR100과 ImageNet에서 유사하거나 더 높은 정확도를 유지하면서 ShuffleNet의 채널 시프트보다 최대 12.7배 빠른 추론 속도를 달성한다.

ABSTRACT

We propose a collection of three shift-based primitives for building efficient compact CNN-based networks. These three primitives (channel shift, address shift, shortcut shift) can reduce the inference time on GPU while maintains the prediction accuracy. These shift-based primitives only moves the pointer but avoids memory copy, thus very fast. For example, the channel shift operation is 12.7x faster compared to channel shuffle in ShuffleNet but achieves the same accuracy. The address shift and channel shift can be merged into the point-wise group convolution and invokes only a single kernel call, taking little time to perform spatial convolution and channel shift. Shortcut shift requires no time to realize residual connection through allocating space in advance. We blend these shift-based primitives with point-wise group convolution and built two inference-efficient CNN architectures named AddressNet and Enhanced AddressNet. Experiments on CIFAR100 and ImageNet datasets show that our models are faster and achieve comparable or better accuracy.

연구 동기 및 목표

• 특히 GPU에서의 추론 시간과 감소된 FLOPs/파rameter 간 격차를 해소하기 위해.
• 채널 샤프트나 스키프트 연결과 같은 일반적인 연산들이 FLOP과 파라미터가 없음에도 불구하고 상당한 추론 시간을 소모하는 비효율성을 극복하기 위해.
• 메모리 이동을 최소화하고 부동소수점 연산을 피하는 GPU 우수한 원천을 설계하기 위해.
• 이러한 시프트 원천을 사용하여 효율적이고 추론 최적화된 CNN 아키텍처 — AddressNet 및 Enhanced AddressNet — 를 개발하기 위해.
• 이러한 시프트 연산이 다양한 데이터셋(CIFAR100, ImageNet)과 모델 크기에서 확장성과 유연성을 어떻게 보여주는지 입증하기 위해.

제안 방법

• 채널 시프트(채널 샤프트를 대체), 주소 시프트(효율적인 공간적 특징 수집), 스키프트 시프트(사전 할당된 메모리로 인한 제로비용 잔류 연결)의 세 가지 시프트 원천을 제안.
• 모든 시프트 연산을 데이터 복사 없이 메모리 포인터 조작으로 구현하여 메모리 대역폭과 부동소수점 연산을 피한다.
• 주소 시프트와 채널 시프트를 점지점 그룹 컨벌루션으로 통합하여 커널 호출 오버헤드를 줄이고 단일 커널 실행을 가능하게 한다.
• 점지점 그룹 컨벌루션과 함께 시프트 원천을 통합하여 컴팩트하고 빠른 추론 네트워크를 구성하기 위해 AddressNet 및 Enhanced AddressNet을 설계.
• 주소 시프트를 사용해 MobileNet 변형(Accelerated-MobileNet)을 가속화하고 Enhanced AddressNet을 ImageNet 스케일링을 위해 향상.
• 커널 실행 횟수를 최소화하고 연속된 메모리 액세스 패턴을 활용하여 GPU 최적화를 통해 지연 시간을 감소.

실험 결과

연구 질문

• RQ1 포인터 기반 시프트 연산이 FLOPs나 파라미터를 증가시키지 않으면서도 컴팩트한 CNN의 추론 시간을 줄일 수 있는가?
• RQ2 GPU에서 실제 추론 시간 측면에서 기존의 채널 샤프트나 스키프트 연결과 비교해 시프트 기반 원천은 어떻게 성능을 내는가?
• RQ3 시프트 원천이 MobileNet 및 ShuffleNet과 같은 기존 효율적 CNN 아키텍처에 효과적으로 통합되어 추론 속도를 향상시킬 수 있는가?
• RQ4 이러한 제안된 시프트 연산이 다양한 데이터셋과 모델 복잡도(예: CIFAR100 대비 ImageNet)에서 얼마나 확장 가능한가?
• RQ5 시프트 원천의 사용이 최신 기술 모델과 비교해 정확도를 유지하거나 향상시키면서 더 빠른 추론을 가능하게 하는가?

주요 결과

• 채널 시프트는 정확도를 유지하면서 ShuffleNet의 채널 샤프트보다 12.7배 빠르다.
• 주소 시프트와 채널 시프트는 단일 커널 호출로 통합되어 오버헤드를 줄이고 효율적인 공간적 및 채널 재구성 가능.
• 스킵 시프트는 사전에 연속된 메모리 공간을 할당하여 잔류 연결을 제로 추론 시간으로 가능하게 한다.
• AddressNet과 Enhanced AddressNet은 CIFAR100에서 ShiftNet보다 더 빠른 추론 속도를 달성했으며, Enhanced AddressNet-B는 ImageNet에서 4.3ms 내에 59.7%의 top-1 정확도를 기록.
• Address-MobileNet 변형은 ImageNet에서 MobileNet과 ShuffleNet을 모두 초월하는 정확도와 지연 시간을 기록했으며, Address-MobileNet-160은 1.5ms 내에 43.6%의 top-1 정확도를 달성.
• 그룹 컨벌루션에 대한 cuDNN 최적화가 제한되어 있음에도 불구하고, 제안된 모델들은 다양한 정확도 및 지연 수준에서 최신 기술 모델과 유사하거나 더 뛰어난 성능을 기록했다.