[논문 리뷰] ApproxDet: Content and Contention-Aware Approximate Object Detection for Mobiles

Ran Xu, Chen-lin Zhang외 6명|arXiv (Cornell University)|2020. 10. 21.

Advanced Neural Network Applications참고 문헌 66인용 수 7

한 줄 요약

ApproxDet는 실시간 영상 콘텐츠와 시스템 자원 조건에 따라 다중 브랜치 Faster R-CNN 아키텍처에서 동적으로 추론 경로를 선택하는 모바일 디바이스를 위한 콘텐츠 및 경쟁 상태 인식 가능한 근사 객체 검출 프레임워크이다. 데이터 기반 성능 모델링과 지연 시간-SLA 기반 스케줄러를 결합하여, YOLOv3보다 52% 낮은 지연 시간과 11.1% 높은 정확도를 달성하면서도 단일 모델 설계로 인해 스위칭 오버헤드를 낮춘다.

ABSTRACT

Advanced video analytic systems, including scene classification and object detection, have seen widespread success in various domains such as smart cities and autonomous transportation. With an ever-growing number of powerful client devices, there is incentive to move these heavy video analytics workloads from the cloud to mobile devices to achieve low latency and real-time processing and to preserve user privacy. However, most video analytic systems are heavyweight and are trained offline with some pre-defined latency or accuracy requirements. This makes them unable to adapt at runtime in the face of three types of dynamism -- the input video characteristics change, the amount of compute resources available on the node changes due to co-located applications, and the user's latency-accuracy requirements change. In this paper we introduce ApproxDet, an adaptive video object detection framework for mobile devices to meet accuracy-latency requirements in the face of changing content and resource contention scenarios. To achieve this, we introduce a multi-branch object detection kernel (layered on Faster R-CNN), which incorporates a data-driven modeling approach on the performance metrics, and a latency SLA-driven scheduler to pick the best execution branch at runtime. We couple this kernel with approximable video object tracking algorithms to create an end-to-end video object detection system. We evaluate ApproxDet on a large benchmark video dataset and compare quantitatively to AdaScale and YOLOv3. We find that ApproxDet is able to adapt to a wide variety of contention and content characteristics and outshines all baselines, e.g., it achieves 52% lower latency and 11.1% higher accuracy over YOLOv3.

연구 동기 및 목표

• 모바일 디바이스에서 변화하는 영상 콘텐츠와 변동하는 시스템 자원 가용성과 같은 동적 런타임 조건에 맞게 영상 객체 검출을 적응형으로 조정하는 데 도전한다.
• 기존 객체 검출기들이 정적일 뿐이어서 입력 콘텐츠의 실시간 변화나 시스템 경쟁 상태에 대응할 수 없는 한계를 극복한다.
• 다양한 워크로드에서 정확도와 지연 시간을 런타임에서 적응 가능하게 하는 단일 모델 시스템을 설계한다.
• 모바일 비전 워크로드의 딥러닝 인퍼런스에 근사 계산 원리를 통합하여 개인정보 보호를 유지하고 지연 시간을 줄인다.
• 콘텐츠 인식과 시스템 인식을 공동 최적화하여 엣지 디바이스에서 실시간으로 개인정보를 보호하는 영상 분석을 가능하게 한다.

제안 방법

• 입력 콘텐츠와 시스템 조건에 따라 동적으로 추론 경로를 선택할 수 있는 다중 브랜치 Faster R-CNN 기반 검출 커널을 제안한다.
• 다양한 자원 경쟁 수준에서 각 브랜치의 지연 시간과 정확도를 예측하기 위해 데이터 기반 성능 모델링 접근법을 사용한다.
• 사용자가 정의한 지연 시간 제약 조건을 충족시키기 위해 런타임에서 최적의 실행 브랜치를 선택하는 지연 시간-SLA 기반 스케줄러를 도입한다.
• 반복적 처리를 줄이기 위해 근사 가능한 영상 객체 추적 알고리즘을 통합한다.
• 다중 공존 모델 대신 단일 적응형 DNN 모델을 사용하여 메모리 및 스위칭 오버헤드를 최소화한다.
• 런타임 피드백을 활용하여 영상 콘텐츠의 동적 특성과 동시 실행 애플리케이션 워크로드에 따라 검출 복잡도를 조정한다.

실험 결과

연구 질문

• RQ1 모바일 디바이스에서 영상 콘텐츠 특성의 변화에 대응할 수 있도록 객체 검출을 어떻게 적응형으로 만들 수 있는가?
• RQ2 공동 실행 응용 프로그램으로 인한 시스템 수준의 자원 경쟁은 추론 중 어떻게 모델링하고 완화할 수 있는가?
• RQ3 단일 모델 아키텍처가 지연 시간, 정확도, 런타임 적응 가능성 면에서 다중 모델 또는 모델 오프로딩 접근 방식을 능가할 수 있는가?
• RQ4 콘텐츠 인식과 경쟁 상태 인식을 동시에 고려할 경우, 정확도와 지연 시간 간의 트레이드오���을 얼마나 향상시킬 수 있는가?
• RQ5 실제 동적 조건에서 최신 기술 모델인 YOLOv3와 AdaScale와 비교해 볼 때, 제안된 시스템은 어떻게 성능을 내는가?

주요 결과

• ApproxDet는 ImageNet VID 데이터셋에서 YOLOv3 대비 평균 추론 지연 시간을 52% 감소시켰다.
• 동일한 지연 시간 제약 조건 하에서 ApproxDet는 YOLOv3보다 평균 정밀도(mAP)를 11.1% 높게 달성했다.
• 단일 모델 설계 덕분에 스위칭 오버헤드가 낮게 유지되어 실시간 모델 로딩 또는 교체가 필요 없었다.
• ApproxDet는 다양한 콘텐츠 및 경쟁 상황에 적응하여 실제 여러 환경 조건에서 뛰어난 견고성을 보였다.
• 지연 시간-SLA 기반 스케줄러는 정확도와 지연 시간을 효과적으로 균형 잡아 사용자가 정의한 성능 요구 조건을 충족시켰다.
• AdaScale와 비교해 볼 때, ApproxDet는 콘텐츠와 시스템 경쟁 상태를 동시에 모델링함으로써 지연 시간과 정확도 면에서 모두 뛰어난 성능을 보였다.