[논문 리뷰] DeepStream: Bandwidth Efficient Multi-Camera Video Streaming for Deep Learning Analytics

Hongpeng Guo, Beitong Tian외 6명|arXiv (Cornell University)|2023. 06. 27.

Image and Video Quality Assessment인용 수 4

한 줄 요약

DeepStream은 자원이 제한된 장치에서 실시간 관심 영역 탐지(ROIDet)를 통해 전송 오버헤드를 줄이고 콘텐츠 기반 대역폭 할당 프레임워크를 통해 대역폭 효율적인 다중 카메라 영상 스트리밍 시스템이다. 제약된 대역폭 조건에서 정확도 저하가 1% 미만일 때까지 최대 54%의 대역폭 절감을 달성하며, 기준 대비 탐지 유틸리티를 23% 향상시킨다.

ABSTRACT

Deep learning video analytic systems process live video feeds from multiple cameras with computer vision models deployed on edge or cloud. To optimize utility for these systems, which usually corresponds to query accuracy, efficient bandwidth management for the cameras competing for the fluctuating network resources is crucial. We propose DeepStream, a bandwidth efficient multi-camera video streaming system for deep learning video analytics. DeepStream addresses the challenge of limited and fluctuating bandwidth resources by offering several tailored solutions. We design a novel Regions of Interest detection (ROIDet) algorithm which can run in real time on resource constraint devices, such as Raspberry Pis, to remove spatial redundancy in video frames and reduce the amount of data to be transmitted. We also propose a content-aware bandwidth optimization framework and an Elastic Transmission Mechanism that exploits correlations among video contents. We implement DeepStream on Raspberry Pis and a desktop computer. Evaluations on real-world datasets show that DeepStream's ROIDet algorithm saves up to 54\% bandwidth with less than 1\% accuracy drop. Additionally,DeepStream improves utility by up to 23\% compared to baselines under the same bandwidth conditions.

연구 동기 및 목표

• 다중 카메라 딥러닝 영상 분석 시스템에서 제한적이고 변동성이 큰 대역폭 문제를 해결한다.
• 서버 피드백이나 엣지 장치에서 무거운 모델에 의존하지 않고 영상 프레임 내의 공간적 중복을 줄인다.
• 카메라 간 콘텐츠 상관관계를 활용하여 제약된 대역폭 조건에서 객체 탐지 정확도(탐지 유틸리티)를 최적화한다.
• 영상 콘텐츠와 실시간 네트워크 조건에 기반해 동적으로 대역폭을 할당하는 시스템을 설계한다.
• 저전력 장치(예: 라즈베리 파이)에서도 효율적이고 실시간 처리가 가능하게 하되, 높은 분석 정확도를 유지한다.

제안 방법

• 자원이 제한된 장치(예: 라즈베리 파이)에서 작동하는 경량이고 실시간인 관심 영역 탐지 알고리즘인 ROIDet를 제안하며, 서버 피드백이 필요하지 않다.
• 영상 콘텐츠와 네트워크 조건를 고려해 탐지 유틸리티를 함수로 모델링하는 콘텐츠 기반 동적 프로그래밍 기반 대역폭 할당 알고리즘을 도입한다.
• 영상 스트림 간 공간적·시간적 상관관계를 활용해 대역폭을 유연하게 할당하는 엘라스틱 전송 메커니즘을 설계한다.
• 최적화를 위해 오프라인 프로파일링을 통해 영상 콘텐츠 특성과 탐지 유틸리티 간의 관계를 수립한다.
• 카메라 측 처리(ROIDet, 압축, 특징 추출)와 서버 측 분석 및 대역폭 결정 기능을 통합한다.
• CRF 기반 영상 압축(예: CRF=18)을 사용해 종단 간 테스트에서 대역폭와 정확도 간 상호 트레이드오프를 평가한다.

실험 결과

연구 질문

• RQ1 서버 피드백에 의존하지 않고 저전력 엣지 장치에서 다중 카메라 영상 스트림의 공간적 중복을 어떻게 효과적으로 줄일 수 있는가?
• RQ2 변동성이 큰 네트워크 조건에서 콘텐츠 기반 대역폭 할당이 다중 카메라 영상 분석의 탐지 유틸리티에 얼마나 기여하는가?
• RQ3 경량이고 실시간인 ROIDet 알고리즘이 정확도에 미치는 영향을 최소화하면서도 상당한 대역폭 절감을 이룰 수 있는가?
• RQ4 영상 스트림 간 공간적·시간적 상관관계가 탄력적 대역폭 할당의 효과성에 어떻게 영향을 미치는가?
• RQ5 실제 환경 구현에서 ROIDet와 동적 대역폭 할당을 통합했을 때 종단 간 지연 시간과 성능 트레이드오프는 어떠한가?

주요 결과

• ROIDet는 전체 프레임 전송 대비 최대 54%의 영상 대역폭 절감을 이끌어내며, 객체 탐지 정확도 저하가 1% 미만이다.
• 동일한 대역폭 조건에서 DeepStream은 콘텐츠 기반 최적화를 사용하지 않는 기준 시스템 대비 탐지 유틸리티를 최대 23% 향상시킨다.
• 라즈베리 파이 장치에서 실시간 성능을 달성하며, 카메라 측 처리(ROIDet 및 압축 포함)가 1초 이내에 완료된다.
• 종단 간 지연 시간은 카메라 측 처리 및 전송에 의해 주로 결정되며, 서버 측 처리 시간은 미미한 기여를 한다.
• CRF 기반 압축을 통해 ROIDet로 자르기 전 영상 대비 압축된 영상 파일 크기가 약 50% 작아졌고, 정확도는 거의 동일하게 유지된다.
• 대역폭 할당 프레임워크는 카메라 간 공간적·시간적 상관관계를 효과적으로 활용해 제약된 자원 조건에서도 탐지 성능을 향상시킨다.