[논문 리뷰] EdgeCNN: Convolutional Neural Network Classification Model with small inputs for Edge Computing

Shunzhi Yang, Zheng Gong외 4명|arXiv (Cornell University)|2019. 09. 30.

IoT and Edge/Fog Computing참고 문헌 40인용 수 11

한 줄 요약

이 논문은 메모리와 처리 능력이 제한된 엣지 컴퓨팅 장치, 예를 들어 Raspberry Pi 3B+와 같은 장치를 위해 최적화된 경량 컨볼루션 신경망인 EdgeCNN을 제안한다. 이전에 모바일 최적화 모델에서 흔히 사용되던 그룹 컨볼루션을 피한 EdgeCNN은 Raspberry Pi에서 1.37 FPS의 추론 속도를 달성하면서도 FER-2013 및 RAF-DB 데이터셋을 사용한 얼굴 표정 분류 작업에서 다른 모델보다 높은 정확도를 보였다.

ABSTRACT

With the development of Internet of Things (IoT), data is increasingly appearing on the edge of the network. Processing tasks on the edge of the network can effectively solve the problems of personal privacy leaks and server overload. As a result, it has attracted a great deal of attention and made substantial progress. This progress includes efficient convolutional neural network (CNN) models such as MobileNet and ShuffleNet. However, all of these networks appear as a common network model and they usually need to identify multiple targets when applied. So the size of the input is very large. In some specific cases, only the target needs to be classified. Therefore, a small input network can be designed to reduce computation. In addition, other efficient neural network models are primarily designed for mobile phones. Mobile phones have faster memory access, which allows them to use group convolution. In particular, this paper finds that the recently widely used group convolution is not suitable for devices with very slow memory access. Therefore, the EdgeCNN of this paper is designed for edge computing devices with low memory access speed and low computing resources. EdgeCNN has been run successfully on the Raspberry Pi 3B+ at a speed of 1.37 frames per second. The accuracy of facial expression classification for the FER-2013 and RAF-DB datasets outperforms other proposed networks that are compatible with the Raspberry Pi 3B+. The implementation of EdgeCNN is available at https://github.com/yangshunzhi1994/EdgeCNN

연구 동기 및 목표

• 낮은 계산 및 메모리 자원을 가진 엣지 장치에 딥러닝 모델을 구현하는 데 도전하는 것.
• 모바일 최적화 네트워크에서 널리 사용되는 그룹 컨볼루션은 Raspberry Pi 3B+와 같이 느린 메모리 액세스 속도를 가진 엣지 장치에서는 비효율적이라는 점을 규명하는 것.
• 소형 입력 크기(44×44)를 고려해 특정 타겟 분류에 최적화된 새로운 CNN 아키텍처인 EdgeCNN을 설계하는 것.
• 특히 Raspberry Pi 3B+와 같은 자원이 제한된 엣지 하드웨어에서 높은 정확도와 수용 가능한 추론 속도를 달성하는 것.
• 모델의 효율성은 FLOPs나 파라미터 수만으로 평가하는 것이 아니라, 대상 장치의 실제 메모리 액세스 특성에 기반하여 재평가되어야 한다는 것을 보여주는 것.

제안 방법

• 단일 타겟 분류를 위해 최적화된 44×44의 작은 입력 크기를 가진 EdgeCNN을 설계하여 다중 객체 검출을 위한 것이 아니게 한다.
• Raspberry Pi 3B+와 같이 느린 메모리 대역폭을 가진 장치에서 메모리 액세스 오버헤드를 줄이기 위해 EdgeCNN에서 그룹 컨볼루션을 피한다.
• 동일한 하드웨어 조건에서 성능 트레이드오프를 비교하기 위해 그룹 컨볼루션을 사용하는 EdgeCNN-G라는 변종을 구현한다.
• 정확도와 추론 속도를 평가하기 위해 얼굴 표정 인식 데이터셋(FER-2013 및 RAF-DB)에서 모델을 훈련하고 평가한다.
• 실제로 Raspberry Pi 3B+에서의 추론 속도(FPS)와 메모리 사용량을 측정하여 실질적인 배포 가능성 평가를 수행한다.
• OpenVINO 툴킷과 Intel Movidius NCS 2를 사용해 속도 향상을 고려하지만, 기능 검출 기능 지원 부족으로 인한 하드웨어 제약을 고려한다.

실험 결과

연구 질문

• RQ1 최소한의 계산 및 메모리 자원을 가진 엣지 장치에서 높은 정확도를 달성할 수 있는 CNN 모델을 설계할 수 있는가?
• RQ2 왜 모바일 최적화 모델에서 널리 사용되는 그룹 컨볼루션은 느린 메모리 액세스 속도를 가진 엣지 장치에서 성능이 떨어지는가?
• RQ3 입력 크기를 44×44로 줄이는 것은 단일 타겟 분류 작업에서 모델의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 낮은 메모리 액세스 장치를 고려해 최적화된 모델이 동일한 하드웨어에서 MobileNet 및 ShuffleNet과 같은 모바일 최적화 모델을 능가할 수 있는가?
• RQ5 기능 검출이 필요한 경우, Intel Movidius NCS 2와 같은 가속기 하드웨어를 엣지 추론에 사용할 때의 실질적 제약은 무엇인가?

주요 결과

• EdgeCNN은 Raspberry Pi 3B+에서 1.37 프레임당 초의 추론 속도를 달성하여 실시간 엣지 배포의 가능성을 입증했다.
• FER-2013 및 RAF-DB 얼굴 표정 분류 데이터셋에서 EdgeCNN은 Raspberry Pi 3B+와 호환되는 다른 모델들보다 정확도 면에서 뛰어나다.
• 그룹 컨볼루션은 Raspberry Pi 3B+의 느린 메모리 액세스 속도(22.61 MB/s)로 인해 성능이 저하되며, 이는 일반 모바일 폰의 평균(222.26 MB/s)의 약 1/10에 불과하다.
• 그룹 컨볼루션을 사용하는 EdgeCNN-G는 동일한 하드웨어에서 EdgeCNN보다 성능이 열 劣하므로, 그룹 컨볼루션은 저메모리 액세스 엣지 장치에 부적합함을 확인했다.
• 그룹 컨볼루션을 피한 SqueezeNet과 SqueezeNext는 빠르지만 정확도가 낮아, 속도와 성능 사이의 상충 관계를 잘 보여준다.
• Intel Movidius NCS 2는 기능 검출 기능 지원 부족으로 인해 EdgeCNN의 가속화에 사용될 수 없었으며, 이는 이 모델에 대한 적용 가능성에 제약을 가했다.