[논문 리뷰] Jointly Optimizing Preprocessing and Inference for DNN-based Visual Analytics

Daniel Kang, Ankit Mathur외 3명|arXiv (Cornell University)|2020. 07. 25.

Visual Attention and Saliency Detection참고 문헌 51인용 수 4

한 줄 요약

이 논문은 현대 가속기에서 DNN 기반 시각 분석의 전처리 및 추론을 동시에 최적화하는 시스템 Smol을 제안한다. 저해상도 입력 데이터를 활용하고 하드웨어 인지적인 파ipel라인 런타임 엔진을 적용함으로써, 전처리를 조정 가능한 최적화 표면로 재고찰함으로써, 정확도를 유지하면서까지도 종합 처리량을 최대 5.9배 향상시킨다.

ABSTRACT

While deep neural networks (DNNs) are an increasingly popular way to query large corpora of data, their significant runtime remains an active area of research. As a result, researchers have proposed systems and optimizations to reduce these costs by allowing users to trade off accuracy and speed. In this work, we examine end-to-end DNN execution in visual analytics systems on modern accelerators. Through a novel measurement study, we show that the preprocessing of data (e.g., decoding, resizing) can be the bottleneck in many visual analytics systems on modern hardware. To address the bottleneck of preprocessing, we introduce two optimizations for end-to-end visual analytics systems. First, we introduce novel methods of achieving accuracy and throughput trade-offs by using natively present, low-resolution visual data. Second, we develop a runtime engine for efficient visual DNN inference. This runtime engine a) efficiently pipelines preprocessing and DNN execution for inference, b) places preprocessing operations on the CPU or GPU in a hardware- and input-aware manner, and c) efficiently manages memory and threading for high throughput execution. We implement these optimizations in a novel system, Smol, and evaluate Smol on eight visual datasets. We show that its optimizations can achieve up to 5.9x end-to-end throughput improvements at a fixed accuracy over recent work in visual analytics.

연구 동기 및 목표

• 현대 가속기(예: NVIDIA T4)에서 DNN 추론의 종단 간 전처리가 차지하는 증가하는 병목 현상을 해결하기 위해.
• 오랫동안 지속된 DNN 실행 비용이 추론 비용을 지배한다고 보는 가정을 도전하여, 실제로 전처리 비용이 더 높을 수 있음을 보여주기 위해.
• 입력 해상도와 전처리 배치를 최적화 매개변수로 간주함으로써 새로운 정확도-처리량 트레이드오프를 가능하게 하기 위해.
• 전처리 오버헤드를 고려한 비용 모델을 설계하여, 시각 분석 시스템의 쿼리 계획 선택을 향상시키기 위해.
• CPU와 GPU 간 전처리 및 DNN 실행을 효율적으로 파이프라인화하는 런타임 엔진을 설계하여 메모리와 스레딩 자원을 최적화하기 위해.

제안 방법

• 전처리 및 DNN 실행 시간을 모두 고려하여 종단 간 추론 비용을 추정하는 전처리 인지 비용 모델을 도입한다.
• 기본적으로 이용 가능한 저해상도 시각 데이터(예: 썸네일, 부분 디코딩)를 사용하여 전처리 비용을 감소시키되, 보강된 DNN 훈련을 통해 정확도를 유지한다.
• 하드웨어 특성과 입력 데이터에 따라 전처리 작업을 CPU 또는 GPU에 동적으로 배치하는 런타임 엔진을 설계한다.
• 전처리와 DNN 추론을 겹쳐 실행하는 파이프라인 실행 모델을 적용하여 지연을 숨기고 처리량을 향상시킨다.
• 현대 CPU와 GPU 자원의 활용도를 극대화하기 위해 효율적인 메모리 관리와 스레드 스케줄링을 구현한다.
• 이러한 최적화를 통합하여 시각 분석을 위한 단일 종단 간 추론 엔진으로서 시스템 Smol을 구현한다.

실험 결과

연구 질문

• RQ1 현대 추론 최적화 가속기에서 종단 간 DNN 추론에 있어 전처리가 DNN 실행보다 주요 병목인지 여쭙기 위해?
• RQ2 저해상도 또는 부분적으로 디코딩된 입력 데이터를 사용하면 정확도 손실 없이 처리량을 크게 향상시킬 수 있는가?
• RQ3 하드웨어 인지적인 작업 배치와 파이프라인화를 통해 전처리와 DNN 실행을 공동 최적화할 수 있는가?
• RQ4 기존의 DNN 전용 비용 모델과 비교해 전처리 인지 비용 모델이 시각 분석 시스템의 쿼리 계획 선택을 얼마나 향상시킬 수 있는가?
• RQ5 실제 시각 분석 워크로드에서 전처리와 추론을 공동 최적화함으로써 종단 간 지연을 얼마나 줄이고 처리량을 향상시킬 수 있는가?

주요 결과

• T4 GPU를 탑재한 인프라 최적화된 g4dn.xlarge AWS 인스턴스에서 ResNet-50에 대해 전처리 비용은 DNN 실행 비용보다 9배 높아 주요 병목이 된다.
• 동일한 인스턴스에서 전처리 비용은 DNN 실행 비용보다 약 2.3배 더 많은 전력을 소비하고, 11배 더 비싸며, 전처리를 忽시할 경우 에너지 및 비용 효율성이 떨어짐을 시사한다.
• 8개의 시각 데이터셋에서 최신 시각 분석 시스템 대비 고정 정확도에서 Smol은 종단 간 처리량을 최대 5.9배 향상시킨다.
• 저해상도 데이터 사용과 보강된 DNN 훈련을 조합함으로써 정확도를 복구하면서 전처리 비용을 감소시켜 새로운 정확도-처리량 트레이드오프를 가능하게 한다.
• 제안된 전처리 인지 비용 모델은 이전 모델보다 더 정확하며, 이전 모델들은 DNN 실행 비용이 추론 시간을 지배한다고 잘못 가정했다.
• 런타임 엔진의 동적 CPU/GPU 작업 배치 및 파이프라인화는 이질적 하드웨어 간 메모리와 스레딩을 효율적으로 관리하여 높은 처리량을 달성한다.