[논문 리뷰] ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

Xiangyu Zhang, Xinyu Zhou외 2명|arXiv (Cornell University)|2017. 07. 04.

Advanced Neural Network Applications참고 문헌 66인용 수 882

한 줄 요약

ShuffleNet은 채널 셔플 동작이 있는 포인트와이즈 그룹 합성곱을 도입하여 모바일 기기를 위한 매우 효율적인 CNN을 구축하고, 유사한 FLOPs에서 MobileNet보다 더 높은 정확도를 달성하며 ARM 하드웨어에서 실사용 속도 향상을 크게 제공합니다.

ABSTRACT

We introduce an extremely computation-efficient CNN architecture named ShuffleNet, which is designed specially for mobile devices with very limited computing power (e.g., 10-150 MFLOPs). The new architecture utilizes two new operations, pointwise group convolution and channel shuffle, to greatly reduce computation cost while maintaining accuracy. Experiments on ImageNet classification and MS COCO object detection demonstrate the superior performance of ShuffleNet over other structures, e.g. lower top-1 error (absolute 7.8%) than recent MobileNet on ImageNet classification task, under the computation budget of 40 MFLOPs. On an ARM-based mobile device, ShuffleNet achieves ~13x actual speedup over AlexNet while maintaining comparable accuracy.

연구 동기 및 목표

• 모바일 기기를 위한 아주 낮은 계산 예산(수십~수백 MFLOPs)에 최적화된 CNN 아키텍처 설계.
• 정확도를 유지하면서 1x1 합성곱의 계산을 줄인다.
• 채널 셔플 메커니즘을 통해 채널 그룹 간 효과적인 정보 흐름을 가능하게 한다.
• 현대의 경량 모델들과 비교하여 ImageNet 및 MS COCO에서 우수한 성능을 입증한다.

제안 방법

• 1x1 합성곱 비용을 줄이기 위해 포인트와이즈 그룹 합성곱 제안.
• 쌓인 그룹 합성곱들 사이에서 크로스-그룹 정보 흐름을 가능하게 하는 채널 셔플 도입.
• 병목 채널에 대한 depthwise 합성곱과 그룹-포인트와이즈 합성곱 및 채널 셔플을 결합한 ShuffleNet 유닛 개발.
• Stage별 다운샘플링과 병목 채널을 해당 스테이지 출력 채널의 1/4로 설정한 3단계 아키텍처로 ShuffleNet 구성.
• FLOPs로 계산 복잡도를 분석하고 그룹 수(g)별로 비교하여 너비와 그룹 희소성 간의 트레이드오프를 연구.

실험 결과

연구 질문

• RQ1 기존 경량 아키텍처와 비교하여 엄격한 FLOP 예산 하에서 포인트와이즈 그룹 합성곱과 채널 셔플을 도입하면 정확도가 향상되는가?
• RQ2 작은 네트워크에서 그룹 수(g)가 성능에 어떤 영향을 미치는가, 그리고 채널 셔플이 정보 흐름의 잠재적 병목 현상을 완화할 수 있는가?
• RQ3 ShuffleNet이 ImageNet 및 MS COCO에서 동일하거나 더 낮은 계산 비용으로 MobileNet보다 더 높은 정확도를 달성할 수 있는가?
• RQ4 이론적 FLOP 기반 추정치와 비교했을 때 실제 모바일 기기에서 ShuffleNet의 런타임에 미치는 영향은 무엇인가?

주요 결과

• ShuffleNet은 ImageNet에서 유사 FLOPs일 때 MobileNet보다 우수한 정확도를 달성하며, 예를 들어 약 40 MFLOPs 예산에서 상위-1 오차가 MobileNet보다 약 7.8% 포인트 낮다.
• 포인트와이즈 그룹 합성곱과 채널 셔플을 사용하면 동일한 복잡도에서 더 넓은 특징 맵을 가능하게 하여, 특히 작은 네트워크의 정확도를 향상시킨다.
• ShuffleNet 2x (g=3)는 524 MFLOPs에서 26.3% top-1 오차를 달성하여 같은 예산下 여러 소형 아키텍처를 능가한다.
• ARM 기반 모바일 하드웨어에서 ShuffleNet은 AlexNet에 비해 약 13배의 실제 속도 향상을 달성하고, 정확도는 비슷하며(이론적 속도 향상은 최대 18배까지).
• 채널 셔플은 특히 더 큰 그룹 수(g)를 사용할 때 교차 그룹 정보 흐름을 가능하게 하여 성능을 일관되게 향상시킨다.