[논문 리뷰] TOD: Transprecise Object Detection to Maximise Real-Time Accuracy on the Edge

Junkyu Lee, Blesson Varghese외 2명|arXiv (Cornell University)|2021. 05. 18.

Advanced Neural Network Applications참고 문헌 16인용 수 12

한 줄 요약

TOD (Transprecise Object Detection)는 경계 상자 크기와 운동 특성을 분석하여 엣지에서 최적의 YOLO 기반 딥 뉴럴 네트워크(DNN)를 동적으로 선택함으로써 실시간 객체 검출 정확도를 극대화하면서도 계산 오버헤드를 극히 낮춘다. MOT17Det에서 YOLOv4-tiny-288보다 평균 정밀도를 34.7% 향상시키며, YOLOv4-416 대비 GPU 자원 사용량은 45.1%, 전력 소비는 62.7%로 줄여도 정확도를 그대로 유지한다.

ABSTRACT

Real-time video analytics on the edge is challenging as the computationally constrained resources typically cannot analyse video streams at full fidelity and frame rate, which results in loss of accuracy. This paper proposes a Transprecise Object Detector (TOD) which maximises the real-time object detection accuracy on an edge device by selecting an appropriate Deep Neural Network (DNN) on the fly with negligible computational overhead. TOD makes two key contributions over the state of the art: (1) TOD leverages characteristics of the video stream such as object size and speed of movement to identify networks with high prediction accuracy for the current frames; (2) it selects the best-performing network based on projected accuracy and computational demand using an effective and low-overhead decision mechanism. Experimental evaluation on a Jetson Nano demonstrates that TOD improves the average object detection precision by 34.7 % over the YOLOv4-tiny-288 model on average over the MOT17Det dataset. In the MOT17-05 test dataset, TOD utilises only 45.1 % of GPU resource and 62.7 % of the GPU board power without losing accuracy, compared to YOLOv4-416 model. We expect that TOD will maximise the application of edge devices to real-time object detection, since TOD maximises real-time object detection accuracy given edge devices according to dynamic input features without increasing inference latency in practice.

연구 동기 및 목표

• 계산 자원이 제한된 엣지 디바이스에서 실시간 영상 분석 시 높은 객체 검출 정확도를 유지하는 데 도전하는 것.
• 작은 객체나 높은 프레임 레이트가 포함된 경우에 특히 나타나는 모델 정확도와 추론 속도 사이의 상충 관계를 극복하는 것.
• 변하는 영상 스트림 특성(예: 객체 크기, 운동 속도)에 적응하는 저오버헤드의 동적 DNN 선택 메커니즘을 개발하는 것.
• 추론 지연을 증가시키지 않고도 엣지 플랫폼(예: Jetson Nano)에서 실시간 검출 정확도를 극대화하는 것.
• 클라우드 데이터 전송과 자원 사용량을 최소화하여 실시간 영상 분석을 효율적이고 확장 가능하게 엣지 디바이스에 구현하는 것.

제안 방법

• TOD는 프레임당 검출된 경계 상자의 중앙값 크기와 객체 운동 특성을 기반으로 각 프레임에 가장 적합한 DNN을 선택하는 런타임 결정 메커니즘을 사용한다.
• 최적의 정확도와 효율성을 확보하기 위해 경량(YSOv4-tiny)과 정밀 모델(YOLOv4) 간 전환 조건을 결정하는 임계값(Hopt)을 사전 최적화하기 위해 초모수 탐색을 수행한다.
• 이전 연구에서 작은 크기이거나 빠르게 움직이는 객체는 경량 모델에서 유리하고, 더 큰 크기이거나 느리게 움직이는 객체는 정확도를 확보하기 위해 무거운 모델이 필요하다는 통찰을 활용한다.
• TOD는 메모리에 네 가지 YOLO 모델(YOLOv4-tiny-288, YOLOv4-tiny-416, YOLOv4-288, YOLOv4-416)을 유지하고 실시간 프레임 분석에 기반해 동적으로 전환한다.
• 결정 로직은 최소한의 오버헤드로 구현되며, 프레임당 중앙값 경계 상자 크기 계산만으로 이루어지며, DNN 추론 대비 계산적으로 무시할 수 있을 정도로 낮다.
• 시스템은 MOT17Det 데이터셋을 사용해 Jetson Nano에서 평가되었으며, 평균 정밀도, GPU 활용도, 전력 소비량을 성능 측정 지표로 사용했다.

실험 결과

연구 질문

• RQ1 실시간 영상 프레임 특성에 기반한 동적 DNN 선택이 지연을 증가시키지 않으면서도 엣지 디바이스에서 객체 검출 정확도를 향상시킬 수 있는가?
• RQ2 실시간 엣지 객체 검출에서 모델 정확도와 계산 비용 사이의 상충 관계를 어떻게 최적화할 수 있는가?
• RQ3 어떤 영상 스트림 특성(예: 객체 크기, 운동 속도)이 특정 프레임에 가장 적합한 DNN을 예측하는 데 가장 잘 작용하는가?
• RQ4 경량이며 저오버헤드의 결정 메커니즘이 실시간 객체 검출에서 주기적 재평가나 히우리스틱 전환보다 우월한가?
• RQ5 엣지 플랫폼에서 객체 검출 정확도를 유지하거나 향상시키면서 GPU 자원과 전력 소비를 얼마나 줄일 수 있는가?

주요 결과

• TOD는 MOT17Det 모든 데이터셋에서 YOLOv4-tiny-288 대비 평균 검출 정밀도를 34.7% 향상시켰다.
• MOT17-05 데이터셋에서 TOD는 YOLOv4-416 대비 GPU 자원 사용량은 45.1%, GPU 보드 전력 소비는 62.7%로 줄였지만 정확도를 그대로 유지했다.
• 프레임당 중앙값 경계 상자 크기는 최적의 DNN 선택에 강력한 예측 변수로서, 저오버헤드의 실시간 결정을 가능하게 한다.
• TOD의 계산 오버헤드는 극히 낮으며, 프레임당 중앙값 경계 상자 크기 계산에 국한되며, DNN 추론 지연에 비해 무시할 수 있을 정도로 작다.
• TOD는 모든 MOT17Det 시퀀스에서, 특히 동적 카메라와 빠르게 움직이는 객체가 포함된 도전적인 상황에서도 가장 우수한 개별 DNN과 동일하거나 더 높은 정확도를 달성했다.
• 그리드 서치를 통한 초모수 튜닝을 통해 데이터셋 특성과 하드웨어 제약 조건에 맞는 최적의 전환 임계값(Hopt)을 도출하여 다양한 사용 사례에서 일관된 성능을 확보했다.