[논문 리뷰] ApproxNet: Content and Contention-Aware Video Analytics System for Embedded Clients

Ran Xu, Rakesh Kumar외 6명|arXiv (Cornell University)|2019. 08. 28.

Advanced Neural Network Applications참고 문헌 86인용 수 10

한 줄 요약

ApproxNet는 단일 DNN에서 두 가지 런타임 근사 조절 기능—입력 해상도와 네트워크 깊이—를 사용하여 동적이고 콘텐츠 및 경쟁 상태 인식 기반의 비디오 객체 분류 시스템으로, 자원이 제한된 임베디드 장치에서 실시간으로 콘텐츠 복잡도와 자원 경쟁 변화에 대응할 수 있다. 이는 엣지 디바이스에서 ResNet, MCDNN, MobileNets, NestDNN, MSDNet보다 높은 정확도와 낮고 안정적인 추론 지연(30 fps)을 달성한다.

ABSTRACT

Videos take a lot of time to transport over the network, hence running analytics on the live video on embedded or mobile devices has become an important system driver. Considering that such devices, e.g., surveillance cameras or AR/VR gadgets, are resource constrained, creating lightweight deep neural networks (DNNs) for embedded devices is crucial. None of the current approximation techniques for object classification DNNs can adapt to changing runtime conditions, e.g., changes in resource availability on the device, the content characteristics, or requirements from the user. In this paper, we introduce ApproxNet, a video object classification system for embedded or mobile clients. It enables novel dynamic approximation techniques to achieve desired inference latency and accuracy trade-off under changing runtime conditions. It achieves this by enabling two approximation knobs within a single DNN model, rather than creating and maintaining an ensemble of models (e.g., MCDNN [MobiSys-16]. We show that ApproxNet can adapt seamlessly at runtime to these changes, provides low and stable latency for the image and video frame classification problems, and show the improvement in accuracy and latency over ResNet [CVPR-16], MCDNN [MobiSys-16], MobileNets [Google-17], NestDNN [MobiCom-18], and MSDNet [ICLR-18].

연구 동기 및 목표

• 최신 기술 DNN가 너무 계산 비용이 높아 자원이 제한된 임베디드 및 모바일 장치에서 실시간 비디오 분석을 구현하는 데 도전하는 문제를 해결한다.
• 콘텐츠 복잡도 변화와 자원 경쟁과 같은 동적 런타임 조건에 적응하지 못하는 기존 근사 기법의 한계를 극복한다.
• 정확도와 계산 비용을 균형 있게 유지하면서 낮고 안정적인 추론 지연(예: 30 fps)을 유지를 위한 원활한 런타임 적응을 가능하게 한다.
• 모델 앙상블 등 여러 모델을 유지 관리할 필요 없이 단일 DNN 아키텍처 내에 입력 해상도와 네트워크 깊이 두 가지 근사 조절 기능을 통합함으로써 이를 실현한다.
• 클라우드나 엣지 오프로딩에 의존하지 않고 실시간 콘텐츠 및 시스템 부하 변화에 대응할 수 있는 실용적이고 종단 간 솔루션을 제공한다.

제안 방법

• 단일 DNN 모델 내에 입력 해상도 스케일링과 중간 네트워크 레이어에서의 조기 종료라는 두 가지 근사 조절 기능을 통합하여 동적 추론 적응을 가능하게 한다.
• 콘텐츠가 단순할 경우 콘텐츠 인식 메커니즘을 사용해 입력 프레임을 다운샘플링하여 계산 부담을 줄이면서도 정확도를 유지한다.
• 실시간 자원 가용성(예: CPU/GPU 부하, 메모리 대역폭)에 따라 근사 수준을 조정하기 위해 경쟁 상태 인식 런타임 모니터링을 적용한다.
• 각 프레임에 대해 해상도와 깊이 조정이 미치는 영향을 평가하는 예측 모델을 사용하여 추론 지연과 정확도 사이의 트레이드오프를 추정한다.
• 콘텐츠 복잡도와 시스템 경쟁 상태에 기반해 프레임 단위로 최적의 근사 수준을 동적으로 선택함으로써 종단 간 지연 SLA를 충족시킨다.
• 다양한 입력 크기와 네트워크 깊이를 지원하는 통합된 DNN 아키텍처를 활용하여 모델 전환 또는 앙상블 관리의 오버헤드를 방지한다.

실험 결과

연구 질문

• RQ1 단일 DNN 모델이 실시간 콘텐츠 특성과 시스템 자원 경쟁 상태에 기반해 추론 전략을 동적으로 조정하여 낮고 안정적인 지연을 유지할 수 있는가?
• RQ2 입력 해상도 스케일링과 조기 종료의 조합이 임베디드 장치에서 추론 지연과 분류 정확도 사이의 균형을 이루는 데 얼마나 효과적인가?
• RQ3 다양한 런타임 조건 하에서 ApproxNet이 기존 최신 기술 모델들(예: ResNet, MCDNN, MobileNets)보다 지연과 정확도 측면에서 얼마나 뛰어난가?
• RQ4 ApproxNet은 단순 프레임과 복잡한 프레임을 포함한 다양한 비디오 콘텐츠 유형에서 모델 앙상블을 사전에 준비하지 않고도 일관된 성능을 유지할 수 있는가?
• RQ5 실시간 비디오 처리 중 장치 워크로드와 자원 가용성의 동적 변화에 대해 시스템의 적응형 근사 메커니즘이 어떻게 반응하는가?

주요 결과

• ApproxNet는 NVIDIA Jetson TX2와 같은 임베디드 장치에서 30 fps의 안정적인 추론 지연을 달성하여 ResNet(프레임당 101 ms)과 MCDNN보다 뚜렷이 뛰어나며, 클라우드나 엣지 지원이 필요로 하지 않는다.
• 복잡한 비디오 프레임에서 ApproxNet은 MobileNets 대비 최대 40%의 지연 감소와 MCDNN 대비 최대 30%의 지연 감소를 달성하면서도 정확도를 유지하거나 향상시킨다.
• 필요한 경우 더 깊은 추론 경로를 활용함으로써 MCDNN 및 NestDNN 대비 복잡한 프레임에서 최대 12%의 정확도 향상을 달성한다.
• 콘텐츠 및 경쟁 상태 인식 기반의 동적 적응 메커니즘은 모델 앙상블이 필요 없게 하여 여러 모델을 유지 관리하는 데 발생하는 메모리 및 계산 오버헤드를 제거한다.
• ApproxNet은 다양한 비디오 콘텐츠에서 뛰어난 강건성을 보이며, 저해상도 입력을 사용해 단순 프레임을 정확히 분류하고, 전체 깊이의 추론을 통해 복잡한 프레임을 처리함으로써 일관된 성능을 보장한다.
• 지연-정확도 트레이드오프를 위한 예측 모델은 최소한의 런타임 오버헤드로 실시간 의사결정을 가능하게 하여 실시간 AR/VR 및 감시 응용 분야에 적합하다.