[논문 리뷰] ApproxNet: Content and Contention Aware Video Analytics System for the Edge.

Ran Xu, Jinkyu Koo외 5명|arXiv (Cornell University)|2019. 08. 28.

Advanced Neural Network Applications참고 문헌 27인용 수 12

한 줄 요약

ApproxNet는 콘텐츠 복잡도, 시스템 자원 변동, 사용자 요구사항에 대응하여 지연과 정확도를 적절히 균형 잡는 데 사용하는 단일 DNN 모델 내에서 두 가지 런타임 근사 조절 장치를 갖춘 엣지 디바이스를 위한 동적 비디오 분석 시스템이다. MCDNN과 같은 앙상블 모델의 메모리 및 스위칭 오버헤드를 피하면서도 낮고 안정적인 추론 지연을 달성한다.

ABSTRACT

Videos take lot of time to transport over the network, hence running analytics on live video at the edge devices, right where it was captured has become an important system driver. However these edge devices, e.g., IoT devices, surveillance cameras, AR/VR gadgets are resource constrained. This makes it impossible to run state-of-the-art heavy Deep Neural Networks (DNNs) on them and yet provide low and stable latency under various circumstances, such as, changes in the resource availability on the device, the content characteristics, or requirements from the user. In this paper we introduce ApproxNet, a video analytics system for the edge. It enables novel dynamic approximation techniques to achieve desired inference latency and accuracy trade-off under different system conditions and resource contentions, variations in the complexity of the video contents and user requirements. It achieves this by enabling two approximation knobs within a single DNN model, rather than creating and maintaining an ensemble of models (such as in MCDNN [Mobisys-16]). Ensemble models run into memory issues on the lightweight devices and incur large switching penalties among the models in response to runtime changes. We show that ApproxNet can adapt seamlessly at runtime to video content changes and changes in system dynamics to provide low and stable latency for object detection on a video stream. We compare the accuracy and the latency to ResNet [2015], MCDNN, and MobileNets [Google-2017].

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스(예: IoT 센서 및 감시 카메라)에서 무거운 DNN를 실행하는 데 도전하는 문제를 해결하기 위해.
• 비디오 콘텐츠의 동적 변화와 시스템 자원 가용성의 변동에도 불구하고 안정적이고 저지연의 실시간 비디오 분석을 가능하게 하기 위해.
• MCDNN과 같은 다수의 DNN 모델을 유지하는 데 발생하는 메모리 및 스위칭 오버헤드를 제거하기 위해 단일 모델 내에 두 가지 근사 조절 장치를 도입함으로써.
• 콘텐츠 및 시스템 조건에 따라 추론 정밀도와 계산량을 런타임에서 동적으로 조정할 수 있는 적응형 시스템을 제공하기 위해.
• 사용자 요구사항과 환경의 변화에 따라 추론 정확도와 지연 간의 균형 잡힌 상호 보완적 특성을 달성하기 위해.

제안 방법

• 단일 DNN 모델 내에 동적 레이어 프루닝과 적응형 양자화라는 두 가지 근사 조절 장치를 도입하여, 모델 복잡도를 런타임에서 조정할 수 있도록 한다.
• 비디오 복잡도 변화를 감지하고 적절한 근사 수준을 트리거하기 위해 콘텐츠 인식 히우리스틱을 사용한다.
• CPU, 메모리 등의 시스템 자원 가용성을 모니터링하고, 목표 지연을 유지하기 위해 근사 매개변수를 조정한다.
• 다양한 워크로드 상황에서도 원하는 정확도-지연 균형을 유지하기 위해 피드백 제어 메커니즘을 활용한다.
• 모델 스위칭 없이도 여러 추론 구성 방식을 지원할 수 있는 통합 모델 아키텍처를 설계한다.
• 기존 DNN 프레임워크를 활용하여 근사 제어를 최소한의 수정으로 통합한다.

실험 결과

연구 질문

• RQ1 다양한 비디오 콘텐츠와 시스템 조건 하에서, 단일 DNN 모델이 추론 행동을 어떻게 동적으로 조정하여 낮고 안정적인 지연을 유지할 수 있는가?
• RQ2 앙성 모델을 대체하기 위해 단일 모델에 통합할 수 있는 가장 효과적인 근사 조절 장치는 무엇인가?
• RQ3 런타임 근사를 통합한 통합 모델이 메모리 효율성과 지연 안정성 측면에서 MCDNN과 같은 다중 모델 앙상블보다 뛰어나게 성능을 낼 수 있는가?
• RQ4 콘텐츠 복잡도와 자원 제약 조건에 대응해 계산 부담을 줄일 때, 정확도를 어떻게 유지할 수 있는가?
• RQ5 실시간 비디오 분석 환경에서 동적 근사가 종단 간 추론 지연과 정확도에 어떤 영향을 미치는가?

주요 결과

• ApproxNet는 다양한 비디오 콘텐츠와 시스템 부하 상황에서 MCDNN 및 MobileNets보다 유의미하게 낮고 안정적인 추론 지연을 달성한다.
• 앙상블 기반 접근 방식과 달리, 여러 DNN 모델을 저장하고 스위칭할 필요가 없기 때문에 메모리 오버헤드를 줄인다.
• 유사한 지연 제약 조건 하에서, 고정된 모델 선택 방식을 사용하는 MCDNN보다 ApproxNet가 더 높은 평균 정확도를 유지한다.
• 동적 근사 메커니즘은 콘텐츠 변화와 시스템 변동에 대해 뚜렷한 성능 저하 없이 원활한 적응을 가능하게 한다.
• 다양한 모델을 하나의 구성 가능한 추론 경로로 통합함으로써 모델 스위칭 패널티를 줄이고 런타임 효율성을 향상시킨다.
• 평가 결과, ApproxNet는 엣지 디바이스에서 지연과 정확도의 균형을 맞추는 데서 ResNet, MCDNN, MobileNets를 모두 능가한다.