[논문 리뷰] FastVA: Deep Learning Video Analytics Through Edge Processing and NPU in Mobile

Tianxiang Tan, Guohong Cao|arXiv (Cornell University)|2020. 01. 13.

IoT and Edge/Fog Computing참고 문헌 27인용 수 4

한 줄 요약

FastVA는 딥러닝 추론을 최적화하기 위해 에지 오프로딩과 신경처리장치(NPU) 가속을 동적으로 조합하는 모바일 비디오 분석 프레임워크이다. 정확도 및 유틸리티 기반 스케줄링을 정수계획문제로 수립하고 휴리스틱 해법을 적용함으로써, 높은 네트워크 지연 조건에서 오프로딩 대비 최대 30% 높은 정확도를 달성하며, 다양한 네트워크 조건에서 정확도와 프레임 레이트 측면에서 로컬 실행 및 기준 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Many mobile applications have been developed to apply deep learning for video analytics. Although these advanced deep learning models can provide us with better results, they also suffer from the high computational overhead which means longer delay and more energy consumption when running on mobile devices.To address this issue, we propose a framework called FastVA, which supports deep learning video analytics through edge processing and Neural Processing Unit (NPU) in mobile. The major challenge is to determine when to offload the computation and when to use NPU. Based on the processing time and accuracy requirement of the mobile application, we study two problems: Max-Accuracy where the goal is to maximize the accuracy under some time constraints, and Max-Utility where the goal is to maximize the utility which is a weighted function of processing time and accuracy. We formulate them as integer programming problems and propose heuristics based solutions. We have implemented FastVA on smartphones and demonstrated its effectiveness through extensive evaluations.

연구 동기 및 목표

• 모바일 디바이스에서 딥러닝 모델의 높은 계산 오버헤드로 인한 장기 지연 및 높은 에너지 소비 문제를 해결하기 위해.
• 나쁜 네트워크 조건에서 지연이 발생하기 쉬운 에지 오프로딩과 비교해 빠르지만 정확도가 낮은 NPU 기반 로컬 추론 간의 상충 관계를 연구하기 위해.
• 실시간 네트워크 조건과 애플리케이션 고유의 정확도/시간 요구사항을 기반으로 비디오 프레임을 NPU와 에지 서버 간에 지능적으로 스케줄링할 수 있는 프레임워크를 설계하기 위해.
• 두 최적화 문제를 수립하고 해결하기 위해: Max-Accuracy(시간 제약 조건 하에서 정확도 극대화) 및 Max-Utility(정확도와 처리 시간의 가중 함수 극대화)

제안 방법

• 시간 제약 조건 하에서 각 프레임에 대한 최적의 처리 노드(NPU 또는 에지) 선택을 위해 Max-Accuracy 문제를 정수계획문제로 수립한다.
• Max-Accuracy에 대한 휴리스틱 기반 해법을 제안하며, 네트워크 지연이 낮을 경우 오프로딩을 우선시하고 지연이 높을 경우 NPU 처리를 우선시함으로써 프레임 처리 시간과 정확도 간의 상충 관계를 고려한다.
• Max-Utility 문제를 정확도와 프레임 레이트를 조합한 가중 유틸리티 함수로 모델링하고, 두 요소를 균형 잡기 위한 조정 가능한 파라미터 α를 도입한다.
• 네트워크 대역폭과 업로드 지연에 기반해 로컬 NPU 처리와 에지 오프로딩 간에 적응적으로 선택하는 근사 기반 휴리스틱을 개발한다.
• 실시간 네트워크 모니터링(대역폭, 업로드 지연)과 모델 특성(크기, 정확도, NPU/CPU에서의 실행 시간)을 활용해 스케줄링 결정을 이끌어낸다.
• 스마트폰에 FastVA를 구현하고, 다양한 프레임 레이트, 업로드 지연, 네트워크 조건에서 기준 방법(Local, Offload, DeepDecision, Optimal)과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 계산 자원을 가진 모바일 디바이스에서 딥러닝 비디오 분석을 어떻게 가속화할 수 있는가?
• RQ2 다양한 네트워크 조건에서 NPU 기반 로컬 추론과 에지 오프로딩 간의 최적의 상충 관계는 무엇인가?
• RQ3 실시간 네트워크 조건과 애플리케이션 요구사항을 기반으로 NPU와 에지 서버 간에 비디오 프레임을 어떻게 동적으로 스케줄링하여 시간 제약 조건 하에서 정확도를 극대화할 수 있는가?
• RQ4 실시간 모바일 비디오 분석에서 정확도와 처리 시간을 균형 잡는 통합 유틸리티 메트릭을 어떻게 최적화할 수 있는가?
• RQ5 실제 네트워크 변동성 조건 하에서 순수 로컬 또는 순수 오프로딩 전략 대비 하이브리드 NPU-에지 전략의 성능 향상은 얼마나 되는가?

주요 결과

• 업로드 지연이 높을 경우(예: 300 ms), Offload 방법은 화면 손실로 인해 정확도가 심각하게 저하되며 최대 30%까지 감소하지만, FastVA의 Max-Accuracy 휴리스틱은 NPU 처리로 전환함으로써 높은 정확도를 유지한다.
• 네트워크 대역폭이 낮을 경우, Offload 방법은 심각하게 성능이 저하되어 로컬 처리보다도 열등해지기도 하며, FastVA의 Max-Utility 휴리스틱은 네트워크 조건에 적응함으로써 높은 유틸리티를 유지한다.
• 30 fps 및 100 ms 업로드 지연 조건에서, FastVA의 Max-Utility는 Offload, Local, DeepDecision 대비 최대 25% 높은 유틸리티를 달성하며, 특히 정확도를 우선시하는 무게 파라미터 α가 높을 경우 두드러진 성능 향상을 보인다.
• 프레임 레이트가 30 fps에서 50 fps로 증가함에 따라, FastVA는 높은 유틸리티와 프레임 레이트를 유지하며, 특히 α가 낮아 속도를 우선시할 경우 Offload 및 DeepDecision를 능가한다.
• 업로드 지연이 증가함에 따라, FastVA의 Max-Utility 및 Max-Accuracy 휴리스틱은 Offload 및 DeepDecision보다 더 천천히 성능 저하를 보이며 네트워크 지터에 대한 강건성을 입증한다.
• 오차 없는 최적 해법(Optimal solution)은 완전 탐색을 통해 계산되며 상한선 역할을 하며, FastVA의 휴리스틱은 실질적으로 이 최적 성능의 90–95%를 달성한다.