[논문 리뷰] Real-time Mask Detection on Google Edge TPU

Keondo Park, Wonyoung Jang외 5명|arXiv (Cornell University)|2020. 10. 09.

Advanced Neural Network Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 MobileNetV2-SSD 아키텍처를 사용하고 후기 양자화를 적용하여 Google Edge TPU에 배포된 경량이며 실시간 마스크 감지 시스템을 제시한다. 모델은 Edge TPU에서 6.4ms의 추론 지연을 달성하면서도 58.4%의 mAP 유지를 이룩하여, 고성능을 유지하면서도 정밀도 손실이 크지 않은 채로 엣지 디바이스에 저지연, 프라이버시 보장형 배포가 가능하다.

ABSTRACT

After the COVID-19 outbreak, it has become important to automatically detect whether people are wearing masks in order to reduce risk of front-line workers. In addition, processing user data locally is a great way to address both privacy and network bandwidth issues. In this paper, we present a light-weighted model for detecting whether people in a particular area wear masks, which can also be deployed on Coral Dev Board, a commercially available development board containing Google Edge TPU. Our approach combines the object detecting network based on MobileNetV2 plus SSD and the quantization scheme for integer-only hardware. As a result, the lighter model in the Edge TPU has a significantly lower latency which is more appropriate for real-time execution while maintaining accuracy comparable to a floating point device.

연구 동기 및 목표

• 공공 공간에서의 실생활 배포에 적합한 저지연, 프라이버시 보장형 마스크 감지 시스템을 개발하기 위해.
• 영상 데이터를 클라우드로 전송하는 대신 엣지 디바이스에서 현지에서 데이터를 처리하여 프라이버시 및 대역폭 문제를 해결하기 위해.
• 저전력 하드웨어(예: Coral Dev Board)에 배포하기 위해 모델 크기와 추론 지연을 줄이면서도 높은 정확도를 유지하기 위해.
• Edge TPU에서 정수형만을 사용하는 양자화된 추론이 부동소수점 모델과 비교해 유사한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델은 MobileNetV2를 백본으로 사용하고, SSD를 통해 바운딩 박스와 클래스 점수를 예측하는 단일 단계 객체 감지 아키텍처를 사용한다.
• 전이 학습을 통해 Tensorflow Model Zoo의 사전 훈련된 얼굴 감지 모델을 초기화로 사용하고, 마스크/비마스크 분류를 위해 미세조정한다.
• 후기 양자화를 적용하여 32비트 부동소수점 모델을 Edge TPU에 적합한 8비트 정수형 모델로 변환한다.
• 추론 속도를 추가로 최적화하기 위해 Edge TPU 컴파일러를 사용해 모델을 Edge TPU용으로 컴iles한다.
• 두 가지 모델 변형을 평가한다: 얼굴 감지 후 분류를 수행하는 이단계 2NN 모델과 두 작업을 하나의 네트워크에 통합한 통합형 1NN 모델.
• 다양한 마스크 색상과 증강된 얼굴-마스크 조합을 포함한 총 425장의 이미지로 구성된 테스트 세트를 사용해 CPU 및 Edge TPU 플랫폼에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 Coral Dev Board와 같은 저전력 엣지 하드웨어에서 Google Edge TPU를 활용해 경량이며 실시간 마스크 감지 모델을 효과적으로 배포할 수 있는가?
• RQ2 정수형만을 사용하는 하드웨어에서 실행될 때 후기 양자화가 마스크 감지 모델의 정확도와 지연에 어떤 영향을 미치는가?
• RQ3 Edge TPU에서 부동소수점 모델과 양자화된 모델 간의 mAP 및 추론 지연 측면에서 성능 격차는 어느 정도인가?
• RQ4 실시간 마스크 감지에서 통합형 1NN 모델이 이단계 2NN 모델보다 속도와 정확도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 현장에서의 장치 내 추론은 공공 감시 응용 분야에서 프라이버시 및 대역폭 문제를 어느 정도 줄일 수 있는가?

주요 결과

• 1NN 모델은 Edge TPU에서 평균 6.4ms의 추론 지연을 기록했으며, 2NN 모델의 26ms 대비 90% 감소한 결과를 보였다.
• 1NN 모델은 Edge TPU에서 58.4%의 mAP를 달성했으며, 32비트 부동소수점 CPU 모델(64.7%)과 비교해 0.4%의 감소만을 보였고, 8비트 CPU 모델(58.8%)과 비교해선 6.3%의 감소를 보였다.
• 1NN 모델은 지연과 정확도 양면에서 2NN 모델을 능가했으며, CPU에서 455ms의 지연(2NN의 1267ms 대비)과 58.8%의 mAP(2NN의 55.0% 대비)를 기록했다.
• 양자화로 인해 모델 크기와 지연이 크게 감소했으며, 1NN 모델은 CPU에서 455ms, Edge TPU에서 6.4ms의 지연을 기록해 정수형 하드웨어에서 매우 높은 효율성을 입증했다.
• Edge TPU에서의 1NN 모델은 58.4%의 mAP를 유지했으며, 32비트 CPU 버전과 비교해 정확도 손실이 0.4%에 불과했고, 이는 양자화된 모델이 엣지 디바이스에서 실현 가능하다는 것을 입증했다.
• 통합형 1NN 아키텍처는 이단계 2NN 방식보다 더 효율적이며, 순차적 추론이 필요 없고 전체 지연을 줄이는 데 기여한다.