[논문 리뷰] Hazard Detection in Supermarkets using Deep Learning on the Edge

M. G. Sarwar Murshed, Edward Verenich외 3명|arXiv (Cornell University)|2020. 02. 29.

Anomaly Detection Techniques and Applications참고 문헌 11인용 수 6

한 줄 요약

이 논문은 코랄 디브 보드와 라즈베리 파이와 같은 엣지 디바이스를 사용하여 슈퍼마켓 내 실시간 위험 감지용 경량 딥러닝 모델인 EdgeLite를 제안한다. 새로운 공개 데이터셋인 슈퍼마켓 바닥 위험 요소를 기반으로 훈련된 EdgeLite는 코랄 디브 보드에서 92.37%의 정확도를 기록하며, 여섯 가지 최신 기술 모델을 능가하지만, 자원 제약이 있는 환경에서 적합한 메모리 사용량과 추론 시간을 유지한다.

ABSTRACT

Supermarkets need to ensure clean and safe environments for both shoppers and employees. Slips, trips, and falls can result in injuries that have a physical as well as financial cost. Timely detection of hazardous conditions such as spilled liquids or fallen items on supermarket floors can reduce the chances of serious injuries. This paper presents EdgeLite, a novel, lightweight deep learning model for easy deployment and inference on resource-constrained devices. We describe the use of EdgeLite on two edge devices for detecting supermarket floor hazards. On a hazard detection dataset that we developed, EdgeLite, when deployed on edge devices, outperformed six state-of-the-art object detection models in terms of accuracy while having comparable memory usage and inference time.

연구 동기 및 목표

• 특히 누출과 낙하물과 같은 슈퍼마켓 바닥 위험 요소에 대한 공개 데이터셋 부족 문제 해결.
• 메모리와 처리 능력이 제한된 저전력 엣지 디바이스에 적합한 경량 딥러닝 모델 개발.
• 클라우드 기반 처리보다 지연 시간을 줄이고 프라이버시를 향상시키기 위해 실시간 현장 추론을 가능하게 하기.
• 기존 최신 기술 모델보다 정확도는 높이고, 추론 속도와 메모리 사용량은 유사하게 유지하면서도 맞춤형 모델이 성능을 뛰어넘을 수 있음을 입증하기.

제안 방법

• 스푸르트 마켓 바닥 위험 요소(누출, 낙하물 등)를 포함한 1,500장의 레이블이 부여된 이미지로 구성된 새로운 공개 데이터셋을 수집하고 정제하였다.
• 매개변수 수를 줄이고 효율적인 연산을 수행하도록 최적화된 경량 컨볼루션 신경망(CNN) 아키텍처인 EdgeLite를 설계하였다.
• TensorFlow와 MXNet을 사용해 고성능 데스크톱에서 모델을 훈련하였으며, Adam 옵timizer, 배치 크기 32, 학습률 0.002(감쇠 포함)를 사용하였다.
• ONNX 내보내기, 텐서플로우 라이트 변환, edgetpu_compiler를 통한 TPU 컴파일을 포함한 모델 압축 기법을 적용하여 모델 크기를 65% 이상 감소시켰다.
• 최종 모델을 코랄 디브 보드와 라즈베리 파이 두 엣지 디바이스에 배포하여 실시간 추론을 수행하였다.
• 모든 디바이스와 모델 간 평가를 표준화하기 위해 입력 이미지 크기를 224×224로 통일하였다.

실험 결과

연구 질문

• RQ1 맞춤형 경량 CNN 아키텍처가 엣지 디바이스에서 기존 최신 기술 모델보다 슈퍼마켓 바닥 위험 요소 감지 정확도를 높일 수 있는가?
• RQ2 모델 압축 및 TPU 컴파일이 정확도를 훼손하지 않으면서 추론 시간과 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ3 모델 성능을 정확도, 지연 시간, 메모리 프로파일 측면에서 엣지 하드웨어에서 MobileNetV1, MobileNetV2, InceptionNet V1/V2, ResNet V1, GoogleNet과 비교해 볼 때, EdgeLite 모델은 어떻게 성과를 내는가?
• RQ4 라즈베리 파이와 코랄 디브 보드와 같은 저전력 엣지 디바이스에 고정확도 객체 검출 모델을 배포하는 것이 실현 가능한가?
• RQ5 클라우드 기반 처리에 비해 EdgeLite를 사용한 현장 추론이 통신 비용과 프라이버시 위험을 상당히 줄일 수 있는가?

주요 결과

• EdgeLite는 데스크톱에서 92.701%의 정확도, 코랄 디브 보드에서 92.37%, 라즈베리 파이에서 91.981%의 정확도를 기록하여 모든 기기에서 여섯 가지 최신 기술 모델을 초월하는 정확도를 확보하였다.
• 코랄 디브 보드에서 EdgeLite의 추론 시간은 0.506초였으며, MobileNetV2(0.268초)보다 느렸지만, 감시 응용 분야에서 허용 가능한 실시간 기준 내에 있었다.
• 코랄 디브 보드에서 EdgeLite는 5.2 MB의 RAM을 사용했고, 라즈베리 파이에서는 3.1 MB를 사용하였다—MobileNetV2(각각 5 MB, 2.74 MB)보다 略로 높았지만 여전히 엣지 배포에 실용적인 수준이었다.
• 모델 압축 파이프라인은 원본 모델 크기를 65% 이상 감소시켜 제한된 스토리지 및 메모리가 있는 디바이스에 효율적인 배포를 가능케 하였다.
• 라즈베리 파이가 전체적으로 가장 높은 메모리 효율성을 보였으며, 모든 모델이 데스크톱이나 코랄 디브 보드보다 더 적은 RAM을 소비하였다.
• 1,500장의 레이블이 부여된 공개 데이터셋은 슈퍼마켓 위험 감지 분야의 벤치마크 부족을 메우며, 이 분야에서 재현 가능한 연구를 가능하게 한다.