[논문 리뷰] NoScope: Optimizing Neural Network Queries over Video at Scale

Daniel Kang, John Emmons외 3명|arXiv (Cornell University)|2017. 03. 07.

Advanced Neural Network Applications참고 문헌 86인용 수 47

한 줄 요약

NoScope는 특정 비디오와 객체 클래스에 맞게 전문화된 모델과 차이 감지기의 캐스케이드를 자동으로 탐색하고 훈련함으로써 비디오에서 신경망 추론을 가속화한다. 이로 인해 실시간 대비 최대 15,500배의 속도 향상을 이룩했으며, 최신 기술 수준의 네트워크와 비교해 정확도 손실가 1–5% 이내를 유지한다.

ABSTRACT

Recent advances in computer vision-in the form of deep neural networks-have made it possible to query increasing volumes of video data with high accuracy. However, neural network inference is computationally expensive at scale: applying a state-of-the-art object detector in real time (i.e., 30+ frames per second) to a single video requires a $4000 GPU. In response, we present NoScope, a system for querying videos that can reduce the cost of neural network video analysis by up to three orders of magnitude via inference-optimized model search. Given a target video, object to detect, and reference neural network, NoScope automatically searches for and trains a sequence, or cascade, of models that preserves the accuracy of the reference network but is specialized to the target video and are therefore far less computationally expensive. NoScope cascades two types of models: specialized models that forego the full generality of the reference model but faithfully mimic its behavior for the target video and object; and difference detectors that highlight temporal differences across frames. We show that the optimal cascade architecture differs across videos and objects, so NoScope uses an efficient cost-based optimizer to search across models and cascades. With this approach, NoScope achieves two to three order of magnitude speed-ups (265-15,500x real-time) on binary classification tasks over fixed-angle webcam and surveillance video while maintaining accuracy within 1-5% of state-of-the-art neural networks.

연구 동기 및 목표

• 대규모 비디오 객체 검출을 위한 최신 기술 수준의 딥 뉴럴 네트워크(DNN)를 실행하는 데 드는 높은 계산 비용을 해결한다.
• 고정된 각도의 비디오 스트림에서 쿼리에 특화된 패턴을 활용해 영상에서의 신경망 추론 비용과 지연 시간을 줄인다.
• 특정 비디오와 객체 클래스에 맞게 최적화된 모델 캐스케이드를 자동으로 탐색하고 훈련하는 시스템을 개발한다.
• 모델 전문화와 시간적 차이 감지 기반으로 추론 속도를 크게 향상시키면서도 참조 모델 대비 정확도 손실가 1–5% 이내를 유지한다.

제안 방법

• 목표 비디오와 객체 클래스에서 모델 전문화를 위한 학습 데이터를 생성하기 위해 사전 훈련된 參考 DNN를 사용한다.
• 목표 비디오에서 참조 모델의 행동을 모방하면서도 속도와 복잡도를 최적화한 경량 전문화 DNN를 훈련한다.
• 연속 프레임 간의 시간적 변화를 식별하기 위해 차이 감지기를 도입하여 거의 동일한 프레임에 대해 비용이 많이 드는 추론을 건너뛸 수 있도록 한다.
• 전문화된 네트워크를 먼저 적용하고, 그 다음에 차이 감지기를 거치며, 신뢰도가 낮을 경우에만 참조 DNN를 호출하는 모델 캐스케이드를 구성한다.
• 정확도 제약 조건을 충족시키면서 처리량을 최대화하기 위해 비용 기반 최적화기를 활용해 다양한 모델 아키텍처와 신뢰도 임계값을 탐색한다.
• 완전한 參考 모델의 지식을 더 작은, 더 빠른 전문화된 모델로 이전하기 위해 지식 정복 기법을 사용한다.

실험 결과

연구 질문

• RQ1 정확도 손실이 크지 않은 범위에서 신경망의 영상 추론 비용을 수십만 배에서 수천 배까지 줄일 수 있는가?
• RQ2 한정된 객체 시야각과 시간적 중복성 등의 영상 고유 패턴을 자동으로 식별하고 활용해 추론 속도를 향상시킬 수 있는가?
• RQ3 특정 비디오와 객체 클래스에 최적화된 전문화된 모델과 차이 감지기의 최적 캐스케이드 아키텍처는 무엇인가?
• RQ4 모델 전문화와 시간적 차이 감지 기법이 실세계 영상 워크로드에서 추론 효율을 함께 얼마나 향상시킬 수 있는가?

주요 결과

• NoScope는 고정 각도의 웹캠 및 감시 영상에서 실시간 추론 대비 최대 15,500배의 속도 향상을 이룩했으며, 참조 모델 대비 정확도 손실이 1–5% 이내를 유지한다.
• 시스템은 계산 비용을 최대 3개 지수 감소시켜 일반 하드웨어에서 대규모 영상 분석을 딥 러닝 기반으로 구현할 수 있게 했다.
• 전문화된 모델만으로도 전체 참조 네트워크 대비 최대 340배 빠른 성능을 기록해 원본 모델의 호출 빈도를 크게 줄였다.
• 차이 감지기가 시간적 중복 프레임을 효과적으로 식별하여 일부 경우에서 비용이 많이 드는 추론이 필요한 프레임 수를 최대 80%까지 감소시켰다.
• 비용 기반 최적화기는 다양한 비디오와 객체 클래스에서 최적의 모델 캐스케이드를 성공적으로 탐색했으며, 아키텍처와 신뢰도 임계값을 효율성을 극대화하도록 적응시켰다.
• 목표 비디오와 객체 클래스가 사전에 알려져 있을 경우, 모델 전문화 기법이 일반적인 모델 압축 기법(예: 지식 정복 또는 프루닝)보다 추론 속도에서 뛰어난 성능을 보였다.