[논문 리뷰] Towards Performance Clarity of Edge Video Analytics

Zhujun Xiao, Zhengxu Xia외 3명|arXiv (Cornell University)|2021. 05. 18.

Advanced Neural Network Applications참고 문헌 72인용 수 11

한 줄 요약

이 논문은 영상 콘텐츠에 따라 VAP 성능이 어떻게 변하는지 체계적으로 특성화함으로써 성능 명확성(performance clarity)을 달성하는 엣지 비디오 분석 파이프라인(VAPs)을 위한 첫 번째 벤치마크인 Yoda를 소개한다. 기본 연산 기반 프로파일링과 정제된 비디오 데이터셋을 조합함으로써 Yoda는 숨겨진 성능 변동성을 드러내고, 투명한 트레이드오프 분석을 가능하게 하며, 다양한 VAP에서의 설계 기회를 폭 드러낸다.

ABSTRACT

Edge video analytics is becoming the solution to many safety and management tasks. Its wide deployment, however, must first address the tension between inference accuracy and resource (compute/network) cost. This has led to the development of video analytics pipelines (VAPs), which reduce resource cost by combining DNN compression/speedup techniques with video processing heuristics. Our measurement study on existing VAPs, however, shows that today's methods for evaluating VAPs are incomplete, often producing premature conclusions or ambiguous results. This is because each VAP's performance varies substantially across videos and time (even under the same scenario) and is sensitive to different subsets of video content characteristics. We argue that accurate VAP evaluation must first characterize the complex interaction between VAPs and video characteristics, which we refer to as VAP performance clarity. We design and implement Yoda, the first VAP benchmark to achieve performance clarity. Using primitive-based profiling and a carefully curated benchmark video set, Yoda builds a performance clarity profile for each VAP to precisely define its accuracy/cost tradeoff and its relationship with video characteristics. We show that Yoda substantially improves VAP evaluations by (1) providing a comprehensive, transparent assessment of VAP performance and its dependencies on video characteristics; (2) explicitly identifying fine-grained VAP behaviors that were previously hidden by large performance variance; and (3) revealing strengths/weaknesses among different VAPs and new design opportunities.

연구 동기 및 목표

• 영상 콘텐츠 간 높은 성능 변동성으로 인해 기존 비디오 분석 파이프라인(VAP) 연구에서 종합적이고 투명한 평가가 부족한 문제를 해결하기 위해.
• 현재 평가 방식에서 비편향적이거나 모호한 결론을 이끌어내는 원인이 되는 바탕이 되는 VAP 성능이 영상 콘텐츠 특성에 강하게 의존한다는 점을 규명하기 위해.
• VAP과 영상 콘텐츠 간 복잡한 상호작용을 포괄하는 새로운 평가 기준인 'VAP 성능 명확성'을 제안하기 위해.
• 다양한 영상 워크로드에서 정밀하고 투명하며 세밀한 VAP 평가를 가능하게 하는 Yoda를 설계 및 구현하기 위해.
• 다양한 영상 콘텐츠 유형에서의 숨겨진 행동, 강점, 약점을 드러내어 더 나은 VAP 설계 및 구현 결정을 지원하기 위해.

제안 방법

• 시간적 프루닝, 공간적 프루닝, 모델 압축과 같은 핵심 연산으로 VAP를 분해하는 기본 연산 기반 프로파일링 프레임워크를 개발하기 위해.
• 객체 밀도, 운동량, 해상도와 같은 콘텐츠 특성에서 제어된 변동성을 가진 다양한 영상 워크로드를 포함하는 정제된 벤치마크 영상 세트를 구성하기 위해.
• 표준화된 추론 작업과 메트릭을 사용하여 모든 영상 클립에서 VAP 성능(정확도 및 비용)을 측정하기 위해.
• 각 VAP의 정확도와 비용이 특정 영상 콘텐츠 특성에 따라 어떻게 변하는지 매핑하는 성능 명확성 프로파일을 구축하기 위해.
• 통계 분석을 통해 성능 변동 패턴을 식별하고 영상 특성과 VAP 결과 간의 의존성을 드러내기 위해.
• 재현 가능하고 투명하며 확장 가능한 VAP 평가를 지원하기 위해 Yoda를 오픈소스 툴체인에 통합하기 위해.

실험 결과

연구 질문

• RQ1 VAP 성능는 다양한 영상 콘텐츠 특성에 따라 어떻게 변하는가? 기존 평가에서 높은 성능 변동성이 발생하는 원인은 무엇인가?
• RQ2 비편향적이거나 완전하지 않은 영상 샘플링으로 인해 현재의 VAP 평가 방법이 진정한 정확도-비용 트레이드오프를 충분히 반영하지 못하는 정도는 어느 정도인가?
• RQ3 체계적인 벤치마킹 접근법이 VAP와 영상 콘텐츠 간의 숨겨진 성능 행동과 의존성을 드러내는 데 성공할 수 있는가?
• RQ4 다양한 영상 콘텐츠 조건 하에서 서로 다른 VAP들의 상대적 강점과 약점은 무엇인가?
• RQ5 더 나은 VAP 설계 및 구현 결정을 이끌어내기 위해 성능 명확성을 어떻게 달성할 수 있는가?

주요 결과

• 기존 VAP 평가 방법은 동일한 시나리오(예: 고속도로 교통) 내에서도 영상 간 높은 성능 변동성으로 인해 편향되거나 모호한 결과를 초래한다.
• VAP 성능는 객체 밀도, 운동량, 해상도와 같은 영상 콘텐츠 특성에 매우 민감한데, 이는 일반적인 평가에서 자주 간과된다.
• Yoda의 성능 명확성 프로파일은 Glimpse와 AWStream과 같은 일부 VAP가 집합적 메트릭에서는 드러나지 않는 강력한 콘텐츠 의존적 행동을 보임을 드러낸다.
• 벤치마크는 Glimpse의 시간적 프루닝과 AWStream의 공간적 프루닝을 조합하면 성능 향상이 가능하다는 점을 규명하며, 새로운 설계 기회를 드러낸다.
• Yoda는 다양한 영상 워크로드를 통해 투명하고 세밀한 평가를 제공함으로써 평가의 성능 변동을 줄여 더 신뢰할 수 있는 VAP 비교를 가능하게 한다.
• 본 연구는 현재의 벤치마크가 실세계 영상 다양성과 엣지 제약 조건 하에서 VAP 행동의 전반적인 스펙트럼을 포괄하지 못함을 입증한다.