[논문 리뷰] Embedded Implementation of a Deep Learning Smile Detector

Pedram Ghazi, Antti P. Happonen외 2명|arXiv (Cornell University)|2018. 07. 10.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 NVIDIA Jetson TX2 플랫폼에서 비동기 멀티스레딩을 사용하여 처리 파이프라인을 병렬화함으로써 실시간 임베디드 딥러닝 미소 감지기 구현을 제시한다. 경량 MobileNet 아키텍처가 GENKI-4K에서 93.6%의 거의 최신 기술 수준의 정확도를 달성하면서도 계산 비용을 크게 낮추어 프레임당 27.3 FPS로 처리함으로써, 엣지 배포를 위한 속도/정확도 트레이드오프에서 VGG16과 같은 무거운 모델을 능가한다.

ABSTRACT

In this paper we study the real time deployment of deep learning algorithms in low resource computational environments. As the use case, we compare the accuracy and speed of neural networks for smile detection using different neural network architectures and their system level implementation on NVidia Jetson embedded platform. We also propose an asynchronous multithreading scheme for parallelizing the pipeline. Within this framework, we experimentally compare thirteen widely used network topologies. The experiments show that low complexity architectures can achieve almost equal performance as larger ones, with a fraction of computation required.

연구 동기 및 목표

• 저자원 임베디드 플랫폼에서 딥러닝 기반의 미소 감지 기술을 실시간으로 구현하는 것.
• Jetson TX2 플랫폼에서 13종의 딥 네트워크 아키텍처의 시스템 수준에서의 속도-정확도 트레이드오프를 평가하는 것.
• 스트리밍 이미지 데이터를 위한 효율적인 파이프라인 병렬 처리를 가능하게 하는 비동기 멀티스레딩 소프트웨어 아키텍처를 설계하고 구현하는 것.
• CPU, GPU, 임베디드 GPU(Jetson TX2) 간의 종합적인 미소 감지 파이프라인 성능을 비교하는 것.
• 가벼운 모델인 MobileNet이 계산 부담을 크게 줄이며 거의 최신 기술 수준의 정확도를 달성할 수 있음을 입증하여 엣지 디바이스에서 실시간 운영을 가능하게 하는 것.

제안 방법

• 시스템은 프레임 캡처, 얼굴 위치 추정(Viola-Jones를 통한), 미소 감지(사전 훈련된 CNN을 사용), 시각화를 위한 전용 스레드를 갖춘 비동기 멀티스레딩 아키텍처를 사용한다.
• Viola-Jones, VGG16, MobileNet, ShuffleNet 등 13종의 널리 사용되는 딥 네트워크 아키텍처를 GENKI-4K 및 CelebA 데이터셋에서 미소 감지에 대해 평가하였다.
• 미소 감지 파이프라인은 CPU에서 Viola-Jones 얼굴 검출기와 GPU에서 딥 컨볼루션 네트워크를 통합하며, 스레드 세이프 큐를 통해 데이터 플로우를 관리한다.
• 성능는 프레임당 초수(FPS), 추론 시간, 모델 크기, 부동소수점 연산 수(FLOPs) 기준으로 측정되었으며, 정확도는 정확도(ACC)와 AUC로 평가되었다.
• 소프트웨어 스택은 NVIDIA Jetson TX2에 배포되었으며, 6개의 ARM CPU 코어와 256개의 CUDA 코어 GPU를 갖춘 이질적 임베디드 플랫폼이다. 데스크톱 CPU 및 GPU 시스템과 비교되었다.
• 시스템은 Jetson 플랫폼의 GPU를 활용해 병렬 추론을 수행하며, 추가적인 감지 작업(예: 연령, 성별) 통합을 가능하게 하는 모듈러한 설계를 채택하고 있다.

실험 결과

연구 질문

• RQ1 가벼운 딥 네트워크 아키텍처가 VGG16과 같은 더 큰 모델과 유사한 미소 감지 정확도를 유지하면서도 임베디드 플랫폼에서 실시간으로 작동할 수 있는가?
• RQ2 NVIDIA Jetson TX2 플랫폼에 배포된 다양한 CNN 아키텍처의 시스템 수준 성능(속도, 정확도, 메모리 사용량)은 실시간 미소 감지에 대해 어떻게 되는가?
• RQ3 제안된 비동기 멀티스레딩 파이프라인 아키텍처는 동기식 또는 단일 구조 설계에 비해 스트리밍 이미지 처리 시스템의 처리량과 지연 시간을 어떻게 향상시키는가?
• RQ4 모델 복잡도와 FLOP 수는 임베디드 미소 감지 시스템에서 추론 속도와 정확도와 얼마나 관련이 있는가?
• RQ5 가벼운 모델을 사용한 시스템 수준의 구현이 정확도를 유지하면서도 최신 기술 수준의 감지기보다 처리 속도에서 뛰어나게 할 수 있는가?

주요 결과

• α=1, ρ=1인 MobileNet 아키텍처는 GENKI-4K 데이터셋에서 93.6%의 정확도를 달성하여 최신 기술 수준의 SmileNet(95.76%)에 근접하면서도 훨씬 적은 계산 자원을 요구한다.
• 제안된 시스템은 Jetson TX2 플랫폼에서 평균 27.3 프레임을 초당 처리하여 영상 스트림에 대한 실시간 성능 요구 조건을 충족시켰다.
• VGG16은 MobileNet보다 약 750배 더 많은 프레임당 부동소수점 연산을 요구하지만, 정확도 향상은 미미하여 임베디드 배포에는 실용적이지 않다.
• 데스크톱 GPU에서의 시스템 수준 파이프라인은 40~60 FPS를 기록하여 동일한 데이터셋에서 보고된 SmileNet의 21.15 FPS를 뛰어넘었으며, 더 단순한 얼굴 검출기를 사용한 점을 감안할 때 더욱 놀라운 성능이다.
• Jetson TX2에서 Viola-Jones 얼굴 검출기와 CNN 기반의 미소 감지기 통합은 실시간 운영을 가능하게 하였으며, 미소 감지 컴ponent가 주요 성능 저하 요인으로 밝혀졌다.
• 이 연구는 임베디드 시스템에서 MobileNet 기반 모델이 정확도와 계산 효율성 간 최적의 트레이드오프를 제공함을 확인하였으며, VGG16과 같은 더 큰 모델은 메모리 및 지연 시간 제약으로 인해 부적합하다고 결론을 내린다.