[논문 리뷰] A Serverless Cloud-Fog Platform for DNN-Based Video Analytics with Incremental Learning

Huaizheng Zhang, Meng Shen외 5명|arXiv (Cornell University)|2021. 02. 05.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 16

한 줄 요약

이 논문은 DNN 기반 영상 분석을 위한 서버리스 클라우드-안개 플랫폼인 VPaaS를 제안한다. 경량 프로토콜과 점진적 학습을 사용해 지능형 영상 처리를 안개 노드로 오프로드함으로써 대역폭, 지연 시간, 비용을 줄인다. 인간이 참여하는 모델 정교화를 통해 높은 정확도를 유지하면서도 최신 기술 대비 평균 RTT는 62.5% 감소, 대역폭은 21% 감소, 클라우드 비용은 50% 감소를 달성한다.

ABSTRACT

DNN-based video analytics have empowered many new applications (e.g., automated retail). Meanwhile, the proliferation of fog devices provides developers with more design options to improve performance and save cost. To the best of our knowledge, this paper presents the first serverless system that takes full advantage of the client-fog-cloud synergy to better serve the DNN-based video analytics. Specifically, the system aims to achieve two goals: 1) Provide the optimal analytics results under the constraints of lower bandwidth usage and shorter round-trip time (RTT) by judiciously managing the computational and bandwidth resources deployed in the client, fog, and cloud environment. 2) Free developers from tedious administration and operation tasks, including DNN deployment, cloud and fog's resource management. To this end, we implement a holistic cloud-fog system referred to as VPaaS (Video-Platform-as-a-Service). VPaaS adopts serverless computing to enable developers to build a video analytics pipeline by simply programming a set of functions (e.g., model inference), which are then orchestrated to process videos through carefully designed modules. To save bandwidth and reduce RTT, VPaaS provides a new video streaming protocol that only sends low-quality video to the cloud. The state-of-the-art (SOTA) DNNs deployed at the cloud can identify regions of video frames that need further processing at the fog ends. At the fog ends, misidentified labels in these regions can be corrected using a light-weight DNN model. To address the data drift issues, we incorporate limited human feedback into the system to verify the results and adopt incremental learning to improve our system continuously. The evaluation demonstrates that VPaaS is superior to several SOTA systems: it maintains high accuracy while reducing bandwidth usage by up to 21%, RTT by up to 62.5%, and cloud monetary cost by up to 50%.

연구 동기 및 목표

• 클라이언트-안개-클라우드 상호작용을 활용해 DNN 기반 영상 분석에서 높은 대역폭 사용과 긴 RTT 문제를 해결한다.
• 지능적인 자원 오케스트레이션을 통해 클라우드 기반 영상 분석의 운영 및 인프라 비용을 줄인다.
• 서버리스 함수 기반 파이프라인 조합을 통해 개발자를 저수준 시스템 관리에서 해방시킨다.
• 인간이 참여하는 피드백을 통한 점진적 학습을 활용해 실세계 영상 분석에서의 데이터 드프트를 완화한다.
• 동적인 워크로드와 네트워크 장애 상황에서도 장애 내성과 확장성을 확보한다.

제안 방법

• 클라우드로 전송하는 영상 품질을 낮춰 대역폭 소비를 줄이는 새로운 영상 스트리밍 프로토콜 설계.
• 클라이언트, 안개, 클라우드 계층에서 영상 사전처리, 추론, 사후처리를 위한 서버리스 함수 오케스트레이션.
• 클라우드에서 고성능 DNN을 구동해 안개 계층에서 추가 처리가 필요한 영역를 식별한다.
• 안개 노드에서 경량 DNN 모델을 사용해 클라우드 예측 결과의 잘못된 레이블을 수정한다.
• 결과 검증과 지속적인 성능 향상을 위한 점진적 모델 학습을 위해 인간이 참여하는 피드백 통합.
• 추론과 점진적 학습을 위한 공유 GPU 사용을 통해 클라우드 비용을 최소화하고 리소스 경쟁을 방지한다.

실험 결과

연구 질문

• RQ1 DNN 기반 영상 분석에서 정확도를 훼손하지 않으면서도 클라우드-안개 아키텍처가 대역폭 사용과 RTT를 어떻게 최소화할 수 있는가?
• RQ2 서버리스 컴퓨팅은 영상 분석 파이프라인의 배포 및 관리에 얼마나 단순화할 수 있는가?
• RQ3 실세계 영상 분석에서 데이터 드프트를 완화하는 데 인간 피드백이 포함된 점진적 학습은 얼마나 효과적인가?
• RQ4 하이브리드 클라이언트-안개-클라우드 시스템은 네트워크 장애나 클라우드 장애 발생 시에도 서비스 연속성을 유지할 수 있는가?
• RQ5 다양한 워크로드와 네트워크 조건에서 시스템은 어떻게 확장되는가?

주요 결과

• VPaaS는 클라우드로 전송하는 영상 품질을 낮춤으로써 최신 기술 대비 최대 21%의 대역폭 사용 감소를 달성한다.
• 근처의 안개 노드로 처리를 오프로드함으로써 클라우드 의존도를 최소화해 평균 RTT를 최대 62.5% 감소시킨다.
• 최적화된 자원 활용과 추론 및 학습을 위한 공유 GPU 사용을 통해 클라우드 금전적 비용을 최대 50% 감소시킨다.
• 인간 피드백이 포함된 점진적 학습은 시간이 지남에 따라 모델 정확도를 향상시키며, GPU 활용도는 15% 증가하고 학습 시 지연 시간은 오직 0.5초의 오버헤드만 발생시킨다.
• 클라우드 장애 발생 시 안개 계층에서 경량 YOLOv3 모델로 전환함으로써 정확도는 다소 낮아지더라도 저지연 동작을 유지함으로써 서비스 연속성을 확보한다.
• 워크로드 증가에 따라 GPU 할당량이 자동으로 증가함으로써 동적으로 확장성이 확보되며, 고밀도 영상 트래픽 상황에서도 낮은 지연 시간을 유지한다.