[논문 리뷰] CoVA: Exploiting Compressed-Domain Analysis to Accelerate Video Analytics

Jinwoo Hwang, Minsu Kim외 6명|arXiv (Cornell University)|2022. 07. 02.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

CoVA는 압축 도메인에서 객체 추적과 프레임 선택을 수행함으로써 영상 분석을 가속화하는 혁신적인 캐스케이드 아키텍처를 제안한다. 이는 복호화 오버헤드를 줄이며 시간적 및 공간적 쿼리 모두를 지원한다. 압축 메타데이터를 활용해 블롭 검출 및 대표 프레임의 선택적 복호화를 통해 기존 최고 수준의 시스템 대비 4.8배의 처리량 향상을 달성하면서도 정확도 손실는 미미하게 유지한다.

ABSTRACT

Modern retrospective analytics systems leverage cascade architecture to mitigate bottleneck for computing deep neural networks (DNNs). However, the existing cascades suffer two limitations: (1) decoding bottleneck is either neglected or circumvented, paying significant compute and storage cost for pre-processing; and (2) the systems are specialized for temporal queries and lack spatial query support. This paper presents CoVA, a novel cascade architecture that splits the cascade computation between compressed domain and pixel domain to address the decoding bottleneck, supporting both temporal and spatial queries. CoVA cascades analysis into three major stages where the first two stages are performed in compressed domain while the last one in pixel domain. First, CoVA detects occurrences of moving objects (called blobs) over a set of compressed frames (called tracks). Then, using the track results, CoVA prudently selects a minimal set of frames to obtain the label information and only decode them to compute the full DNNs, alleviating the decoding bottleneck. Lastly, CoVA associates tracks with labels to produce the final analysis results on which users can process both temporal and spatial queries. Our experiments demonstrate that CoVA offers 4.8x throughput improvement over modern cascade systems, while imposing modest accuracy loss.

연구 동기 및 목표

• DNN 추론을 수행하기 전에 전체 영상 복호화를 처리해야 하는 영상 분석 시스템에서 발생하는 복호화 병목 현상을 해결한다.
• 기존 캐스케이드 시스템이 자주 생략하는 후행 영상 분석에서의 시간적 및 공간적 쿼리 지원을 목표로 한다.
• 사전 처리 또는 재코딩 없이 압축 도메인으로 조기 처리 단계를 이관함으로써 효율적이고 쿼리에 관계없는 분석을 가능하게 한다.
• 전체 DNN 추론을 위한 최소한의 프레임 집합만 선택하여 컴퓨팅 및 스토리지 비용을 최소화한다.
• 지능적인 레이블 전파를 통해 복호화된 프레임 수를 크게 줄이면서도 높은 정확도를 유지한다.

제안 방법

• CoVA는 영상 분석을 세 단계로 분할한다: 압축 도메인 내 블롭 추적, 최소한의 프레임 선택, 레이블 전파를 통한 픽셀 도메인 내 DNN 추론.
• 압축 도메인 내 블롭 추적을 위해 인코딩 메타데이터(예: 운동 벡터,量子화 파라미터)를 활용한 재조정된 신경망을 사용한다.
• 프레임 선택은 시공간 일관성에 기반하여, 최소한의 복호화 비용으로 최대의 커버리지 확보를 위한 대표 프레임을 선정한다.
• 선택된 프레임의 레이블은 압축 도메인 분석에서 유도된 운동 및 공간 일관성에 기반해 전체 트랙 전역으로 전파된다.
• 사전 처리, 재코딩 또는 고유한 스토리지 포맷 없이도 표준 영상 코덱(H.264/265 등)에서 작동한다.
• 최종 분석 결과는 영상 당 한 번만 저장되어 향후 모든 쿼리에 대해 재사용 가능하며, 이로써 신속한 응답 시간을 제공한다.

실험 결과

연구 질문

• RQ1 사전 처리 또는 재코딩 없이도 압축 도메인 분석이 영상 분석에서 복호화 병목 현상을 줄일 수 있는가?
• RQ2 캐스케이드 아키텍처가 높은 처리량을 유지하면서도 시간적 및 공간적 쿼리를 모두 지원할 수 있는가?
• RQ3 오직 인코딩 메타데이터만을 사용해 압축 도메인 내 블롭 추적을 통해 객체 검출에 얼마나 효과적인가?
• RQ4 쿼리에 관계없는 영상 분석 파이프라인에서 복호화 비용 감소와 정확도 손실 사이의 상호 교환 관계는 어떠한가?
• RQ5 대표 프레임의 선택적 복호화가 계산 부담을 최소화하면서도 정확도를 유지할 수 있는가?

주요 결과

• CoVA는 대부분의 파이프라인을 압축 도메인에서 처리함으로써 기존 최고 수준의 시스템 대비 복호화 작업량을 83.6% 감소시켰다.
• 기존 캐스케이드 기반 영상 분석 시스템 대비 4.8배 높은 처리량을 달성하여 쿼리 처리 속도를 크게 향상시켰다.
• 압축 도메인 내 추적 및 선택적 복호화로 인한 정확도 손실는 미미하여 최종 분류 및 국소화 결과에 거의 영향을 주지 않았다.
• CoVA는 기존 시스템이 자주 생략하는 시간적 쿼리(예: 객체가 언제 나타나는가)와 공간적 쿼리(예: 오른쪽 상단 영역에 있는 객체)를 모두 지원한다.
• 시스템의 쿼리에 관계없는 결과는 영상 당 한 번만 저장되어 향후 쿼리에 대해 재처리 없이도 빠른 응답을 가능하게 한다.
• 이 방법은 표준 영상 코덱과 호환되며 영상 수집 및 스토리지 파이프라인에 대한 변경 사항이 필요하지 않다.