[논문 리뷰] THIA: Accelerating Video Analytics using Early Inference and Fine-Grained Query Planning

Jiashen Cao, Ramyad Hadidi외 2명|arXiv (Cornell University)|2021. 02. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 23인용 수 6

한 줄 요약

THIA는 동적 처리량-정확도 트레이드오프를 위한 다수의 초기 종료 지점이 있는 단일 객체 검출 모델을 사용함으로써 영상 분석을 가속화하고, 세분화된 쿼리 계획 및 경량 종료 지점 추정기와 결합한다. 이는 최신 기술 대비 최대 6.5배의 속도 향상을 이끌어내며, 검출이 어려운 이벤트에 대해서도 높은 정확도를 유지한다.

ABSTRACT

To efficiently process visual data at scale, researchers have proposed two techniques for lowering the computational overhead associated with the underlying deep learning models. The first approach consists of leveraging a specialized, lightweight model to directly answer the query. The second approach focuses on filtering irrelevant frames using a lightweight model and processing the filtered frames using a heavyweight model. These techniques suffer from two limitations. With the first approach, the specialized model is unable to provide accurate results for hard-to-detect events. With the second approach, the system is unable to accelerate queries focusing on frequently occurring events as the filter is unable to eliminate a significant fraction of frames in the video. In this paper, we present THIA, a video analytics system for tackling these limitations. The design of THIA is centered around three techniques. First, instead of using a cascade of models, it uses a single object detection model with multiple exit points for short-circuiting the inference. This early inference technique allows it to support a range of throughput-accuracy tradeoffs. Second, it adopts a fine-grained approach to planning and processes different chunks of the video using different exit points to meet the user's requirements. Lastly, it uses a lightweight technique for directly estimating the exit point for a chunk to lower the optimization time. We empirically show that these techniques enable THIA to outperform two state-of-the-art video analytics systems by up to 6.5X, while providing accurate results even on queries focusing on hard-to-detect events.

연구 동기 및 목표

• 특수화된 경량 모델 또는 고성능 모델을 사용한 프레임 필터링을 사용하는 기존 영상 분석 시스템의 한계를 해결하기 위해.
• 영상의 이벤트 빈도와 검출 난이도의 변화에 적응하지 못하는 굵은 단위의 쿼리 계획으로 인한 비효율성을 해결하기 위해.
• 고성능과 정확도를 유지하면서도 쿼리 계획 최적화 시간을 줄이기 위해.
• 콘텐츠 특성에 기반한 콘텐츠 수준의 동적 종료 지점 선택을 가능하게 하기 위해.

제안 방법

• THIA는 다수의 초기 종료 지점(EPs)을 가진 단일 딥러닝 모델을 사용하여 신뢰도와 복잡도에 기반한 추론의 단절을 가능하게 하여 다양한 처리량-정확도 트레이드오프를 제공한다.
• 세분화된 쿼리 계획을 적용하여 각 영상 청크에 대해 다른 EP를 선택함으로써 세그먼트별로 성능과 정확도를 최적화한다.
• 경량 딥러닝 모델을 사용해 각 영상 청크의 최적 EP를 추정함으로써 쿼리 최적화에 소요되는 시간을 크게 줄인다.
• 모델 전환 오버헤드를 방지하기 위해 EP 간 공유 파라미터를 재사용함으로써 GPU 메모리 사용량을 최소화한다.
• 이후 모델 레이어의 특징을 기반으로 최적의 EP를 예측하도록 훈련된 종료 지점 추정기는 빠르고 실시간의 계획 결정을 가능하게 한다.
• 초기 추론과 적응형 계획을 통합하여 다양한 영상 워크로드에서 속도와 정확도의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 다수의 종료 지점을 가진 단일 모델이 영상 분석에서 처리 속도와 메모리 효율성 측면에서 계열화된 모델보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 각 영상 청크에 대해 다른 종료 지점을 선택하는 세분화된 쿼리 계획은 굵은 단위의 계획 대비 성능 향상에 얼마나 효과적인가?
• RQ3 샘플 프레임에 대한 전체 추론을 실행하지 않고도 경량 추정기가 각 영상 청크의 최적 종료 지점을 정확하게 예측할 수 있는가?
• RQ4 동적 종료 지점 선택을 통한 초기 추론이 기존 방법 대비 검출이 어려운 이벤트에 대해 정확도를 얼마나 잘 유지하는가?
• RQ5 적응형 영상 분석 시스템에서 최적화 시간과 계획 품질 간의 상호 교환 관계는 어떠한가?

주요 결과

• THIA는 최신 기술 대비 최대 6.5배의 속도 향상을 이끌어내며, 검출이 어려운 이벤트를 포함한 쿼리에서도 높은 정확도를 유지한다.
• THIA의 세분화된 계획 방식은 최적의 브루트 포스 계획 대비 뿐만 아니라 실행 시간이 0.3배 뿐만 아니라 높은 계획 품질을 입증한다.
• THIA의 메모리 프로파일은 5개의 종료 지점에서 2GB이며, 동일한 수의 종료 지점을 가진 모델 캐스케이드의 5GB보다 크게 낮다.
• 종료 지점 추정 모델은 샘플 프레임에 대한 전체 추론 없이도 각 청크의 최적 EP를 신속하게 직접 예측할 수 있도록 최적화 시간을 줄인다.
• THIA의 초기 추론 기법은 계열화된 모델 시스템에서 발생하는 고비용의 모델 전환 오버헤드를 제거한다.
• 공유 파라미터와 전환 비용 감소 덕분에 THIA는 모델 캐스케이드 접근 방식 대비 2배 빠른 성능을 발휘한다.