[논문 리뷰] BlazeIt: Optimizing Declarative Aggregation and Limit Queries for Neural Network-Based Video Analytics

Daniel Kang, Peter Bailis외 1명|arXiv (Cornell University)|2018. 05. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 60인용 수 28

한 줄 요약

BlazeIt는 신경망 기반 영상 분석을 위한 선언적 쿼리 시스템을 도입하여, 제어 변수로 전용 신경망을 사용하고 우선순위 기반 검색 알고리즘을 적용해 집계 및 제한 쿼리를 최적화한다. 정확도 보장을 유지하면서도 이전 방법 대비 최대 83배 빠른 성능을 달성하며, 불완전한 프록시 모델이 존재하더라도 성능을 유지를 한다.

ABSTRACT

Recent advances in neural networks (NNs) have enabled automatic querying of large volumes of video data with high accuracy. While these deep NNs can produce accurate annotations of an object's position and type in video, they are computationally expensive and require complex, imperative deployment code to answer queries. Prior work uses approximate filtering to reduce the cost of video analytics, but does not handle two important classes of queries, aggregation and limit queries; moreover, these approaches still require complex code to deploy. To address the computational and usability challenges of querying video at scale, we introduce BlazeIt, a system that optimizes queries of spatiotemporal information of objects in video. BlazeIt accepts queries via FrameQL, a declarative extension of SQL for video analytics that enables video-specific query optimization. We introduce two new query optimization techniques in BlazeIt that are not supported by prior work. First, we develop methods of using NNs as control variates to quickly answer approximate aggregation queries with error bounds. Second, we present a novel search algorithm for cardinality-limited video queries. Through these these optimizations, BlazeIt can deliver up to 83x speedups over the recent literature on video processing.

연구 동기 및 목표

• 대규모 영상 분석에 적용하기 위해 깊은 신경망(DNN)을 구현하는 데 필요한 높은 계산 비용과 복잡한 절차지향 코드 문제를 해결하기 위해.
• 이전의 근사 필터링 기법이 잘 지원하지 않는 집계 및 제한 쿼리 유형을 위한 효율적이고 선언적인 영상 데이터 쿼리 기능을 제공하기 위해.
• 프레임 수준의 전체 DNN 추론을 요구하지 않고도 정확한 결과 또는 공식적인 오차 한계를 제공하기 위해.
• 특정 쿼리에 맞는 최적화를 통해 비용이 많이 드는 DNN 호출 횟수를 줄이고, 전용 신경망을 제어 변수로 활용하며, 프레임 우선순위 정하기를 통해 성능을 향상시키기 위해.
• 선언적 쿼리 명세와 종단 간 최적화를 통합하여, 전문 지식이 없는 사용자가 FrameQL을 통해 복잡한 영상 분석 워크로드를 쉽게 표현할 수 있도록 하기 위해.

제안 방법

• 영상 분석을 위한 선언적 SQL 확장어인 FrameQL을 도입하여, 시공간적 객체 정보를 가상 관계로 표현한다.
• 쿼리에 특화된 전용 신경망을 제어 변수로 사용하여 근사 집계 쿼리의 분산을 줄이고, 오차가 제한된 상태에서 DNN 호출 횟수를 줄인다.
• 프록시 모델을 사용해 목표 이벤트(예: 최소 3대의 차량이 있는 프레임)를 포함할 가능성이 높은 프레임을 우선순위로 정하는 새로운 검색 알고리즘을 적용하여 제한 쿼리의 효율성을 높인다.
• DNN 호출 수를 최소화하면서 정확도 보장을 유지하는 룰 기반 쿼리 최적화기로 실행 계획을 생성한다.
• 이진 검출을 넘어서 다중 클래스 및 수량 측정 워크로드로의 전용화를 확장하여 집계 및 제한 쿼리를 모두 지원한다.
• 전용 신경망의 정확도가 떨어지는 경우에도 강건한 최적화를 통해 정확성 확보 또는 오차 한계 보장을 보장한다.

실험 결과

연구 질문

• RQ1 특정 쿼리에 맞는 전용 신경망을 제어 변수로 효과적으로 재사용하여 영상 분석에서 근사 집계 쿼리를 가속화할 수 있는가?
• RQ2 프록시 모델을 통한 프레임 우선순위 정하기로 정수 제한 쿼리(예: 3대의 차량이 있는 프레임 중 10개 이내)의 효율성을 높일 수 있는가? 이때 정확도를 희생하지는 않는가?
• RQ3 선언적 쿼리 언어와 최적화기를 사용하여 복잡한 영상 분석 워크로드에 대한 자동 실행 계획을 생성할 수 있는가?
• RQ4 쿼리에 특화된 최적화가 DNN 추론 비용을 얼마나 줄일 수 있으며, 이때 공식적인 오차 한계를 유지할 수 있는가?
• RQ5 이러한 최적화는 NoScope와 같은 이전 시스템 및 근사 쿼리 처리 기법과 비교해 보면, 빈번한 객체 패턴과 희귀한 객체 패턴 모두에서 성능에 어떤 영향을 미치는가?

주요 결과

• BlazeIt는 특히 집계 및 제한 쿼리에서 최신 기술 대비 최대 83배의 성능 향상을 달성한다.
• 전용 신경망을 제어 변수로 사용함으로써 집계 추정치의 분산을 줄여, 훨씬 적은 수의 DNN 호출로도 정확한 결과를 도출할 수 있다.
• 제한 쿼리에 대한 우선순위 기반 검색 알고리즘은 정확도를 유지하면서도 전체 DNN 추론이 필요한 프레임 수를 줄여주며, 희귀 사건에 대해 특히 효과적이다.
• 전용 신경망의 정확도가 떨어지더라도 제어 변수 및 검색 기반 설계 덕분에 BlazeIt는 공식적인 정확도 보장을 유지한다.
• 특히 필터링 기반 접근 방식인 NoScope나 근사 쿼리 처리 기법보다 뛰어난 성능을 보이며, 객체 빈도가 높은 환경에서는 필터링 기반 기법이 비효율적인 점을 고려할 때 더욱 두드러진다.
• FrameQL은 전문 지식이 없는 사용자가 복잡한 영상 분석 쿼리를 선언적으로 표현할 수 있도록 하며, 시스템이 자동으로 종단 간 최적화를 수행한다.