[논문 리뷰] All You Need is a Few Shifts: Designing Efficient Convolutional Neural Networks for Image Classification

Weijie Chen, Di Xie외 2명|arXiv (Cornell University)|2019. 03. 13.

Advanced Neural Network Applications참고 문헌 38인용 수 11

한 줄 요약

이 논문은 깊이 분리형 합성곱 대신 특징 맵에 전략적으로 배치된 몇몇의 이동 연산만을 적용하는 새로운 효율적인 합성곱 신경망 구성 요소인 희소 이동 레이어(Sparse Shift Layer, SSL)를 제안한다. 학습 가능한 이동 페널티와 양자화 인식 훈련을 도입함으로써 SSL은 최소한의 계산 비용으로도 높은 정확도를 달성한다—563M M-Adds로 ImageNet에서 75.0%의 top-1 정확도를 기록하며, MobileNet, ShuffleNet 및 NAS로 탐색된 모델들보다 정확도와 추론 속도 면에서 뛰어나다.

ABSTRACT

Shift operation is an efficient alternative over depthwise separable convolution. However, it is still bottlenecked by its implementation manner, namely memory movement. To put this direction forward, a new and novel basic component named Sparse Shift Layer (SSL) is introduced in this paper to construct efficient convolutional neural networks. In this family of architectures, the basic block is only composed by 1x1 convolutional layers with only a few shift operations applied to the intermediate feature maps. To make this idea feasible, we introduce shift operation penalty during optimization and further propose a quantization-aware shift learning method to impose the learned displacement more friendly for inference. Extensive ablation studies indicate that only a few shift operations are sufficient to provide spatial information communication. Furthermore, to maximize the role of SSL, we redesign an improved network architecture to Fully Exploit the limited capacity of neural Network (FE-Net). Equipped with SSL, this network can achieve 75.0% top-1 accuracy on ImageNet with only 563M M-Adds. It surpasses other counterparts constructed by depthwise separable convolution and the networks searched by NAS in terms of accuracy and practical speed.

연구 동기 및 목표

• 깊이 분리형 합성곱의 실용적 비효율성(높은 메모리 이동 오버헤드)을 해결하기 위해.
• 희소성으로 재결합된 중복 이동을 줄임으로써 이동 연산이 얼마나 더 효율적으로 만들 수 있는지 조사하기 위해.
• 오직 희소 이동 연산만을 사용하여 신경망의 제한된 능력을 최대로 활용하는 새로운 경량 신경망 아키텍처를 설계하기 위해.
• 적절히 정규화되고 양자화된 이동 연산이 정확도와 추론 속도 면에서 깊이 분리형 합성곱을 능가할 수 있음을 입증하기 위해.

제안 방법

• 중간 특징 맵에만 학습 가능한 이동 연산을 적용하는 희소 이동 레이어(Sparse Shift Layer, SSL)를 제안하여 메모리 이동 오버헤드를 감소시킨다.
• 최적화 과정에서 이동 연산 페널티를 도입하여 희소성을 유도함으로써 특징 맵의 소수의 부분만을 이동하도록 유도한다.
• 인터폴레이션을 사용하지 않고도 이동 연산을 미분 가능하게 만들기 위해 양자화 인식 이동 학습 방법을 개발한다. 이는 추론 효율성을 유지한다.
• 1x1 합성곱과 희소 이동만을 사용하여 특징 다양성과 정보 흐름을 극대화하는 새로운 네트워크 아키텍처인 FE-Net을 설계한다.
• FE-Net에서 정확도와 계산 비용 간의 트레이드오프를 제어하기 위해 너비 배수(width multiplier)를 하이퍼파라미터로 사용한다.
• 역전형 봉우리의 확장 경로에 SE 모듈을 통합하여 채널별 주의 메커니즘을 강화하고, 더 높은 이동 희소성 수준을 달성한다.

실험 결과

연구 질문

• RQ1 희소하게 배치된 몇몇의 이동 연산만으로도 CNN에서 효과적인 공간 정보 통신이 가능할 수 있는가?
• RQ2 희소성로 메모리 이동을 줄임으로써 깊이 분리형 합성곱보다 더 효율적인 이동 연산을 만들 수 있는가?
• RQ3 완전히 깊이 분리형 합성곱 없이 구성된 네트워크가 기존의 컴팩트 모델보다 정확도와 추론 속도 면에서 뛰어나질 수 있는가?
• RQ4 SE 모듈을 통한 채널 주의 메커니즘이 SSL 기반 아키텍처에서 이동 희소성과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 효율적인 공간 정보 통신을 위해 몇몇의 이동 연산만으로도 충분하며, 훈련된 모델에서 60–80%의 특징 맵이 이동되지 않은 채 유지된다.
• SSL을 적용한 FE-Net은 563M M-Adds로 ImageNet에서 75.0%의 top-1 정확도를 달성하며, MobileNetV2 및 NAS로 탐색된 모델을 능가한다.
• GPU 및 CPU 모두에서 FE-Net은 MobileNetV2보다 유의미하게 빠른 추론 속도를 보이며, 배치 크기가 32일 때 GPU에서는 16.1ms, CPU에서는 1.9s를 기록한다.
• SE 모듈 통합으로 이동 희소성은 69.5%에서 80.2%로 증가하여, 채널 주의 메커니즘이 희소 이동의 효율성을 향상시킨다는 것을 보여준다.
• FE-Net은 깊이 분리형 합성곱 기반 모델(MobileNet, ShuffleNet)과 NAS 최적화 네트워크를 모두 정확도와 실질적 런타임 면에서 능가한다.
• 양자화 인식 이동 학습 방법은 인터폴레이션 없이도 미분 가능한 훈련을 가능하게 하여 추론 시 하드웨어 효율성을 유지한다.