[논문 리뷰] Accelerating Deep Learning Inference via Learned Caches

Arjun Balasubramanian, Adarsh Kumar외 4명|arXiv (Cornell University)|2021. 01. 18.

Advanced Neural Network Applications참고 문헌 67인용 수 7

한 줄 요약

이 논문은 예측 지연 시간을 줄이기 위해 학습된 캐시(중간 DNN 레이어의 출력과 캐시 히트를 예측하는 기계학습 모델)를 사용하는 딥러닝 추론 시스템인 Gati를 제안한다. 동적 계산 건너뛰기와 증분 재계획을 통해 Gati는 평균 추론 지연 시간을 최대 7.69배 감소시키면서도 모델 정확도를 손상시키지 않은 채 종단 간 정확도를 최대 1% 향상시킨다.

ABSTRACT

Deep Neural Networks (DNNs) are witnessing increased adoption in multiple domains owing to their high accuracy in solving real-world problems. However, this high accuracy has been achieved by building deeper networks, posing a fundamental challenge to the low latency inference desired by user-facing applications. Current low latency solutions trade-off on accuracy or fail to exploit the inherent temporal locality in prediction serving workloads. We observe that caching hidden layer outputs of the DNN can introduce a form of late-binding where inference requests only consume the amount of computation needed. This enables a mechanism for achieving low latencies, coupled with an ability to exploit temporal locality. However, traditional caching approaches incur high memory overheads and lookup latencies, leading us to design learned caches - caches that consist of simple ML models that are continuously updated. We present the design of GATI, an end-to-end prediction serving system that incorporates learned caches for low-latency DNN inference. Results show that GATI can reduce inference latency by up to 7.69X on realistic workloads.

연구 동기 및 목표

• 모델 깊이와 복잡도 증가로 인해 증가하는 딥 뉴럴 네트워크(DNN)의 추론 지연 시간을 해결하기 위해.
• 자주 나타나는 입력을 더 빠르게 제공할 수 있는 사용자 중심 추론 워크로드에서의 시간적 국소성( temporal locality )을 활용하기 위해.
• 정확도를 희생시키지 않고도 추론 시점까지 모델 복잡도 선택을 연기할 수 있도록 하기 위해.
• 기존 DNN 캐싱의 메모리 및 검색 오버헤드를 줄이기 위해 고차원 특징 매핑을 저장하는 대신 경량 기계학습 모델을 사용하기 위해.
• 자원 제약 조건 하에 지연 시간을 최소화하는 데 최적의 레이어와 아키텍처를 자동으로 선택할 수 있는 시스템을 설계하기 위해.

제안 방법

• Gati는 각 레이어당 두 개의 학습된 신경망을 사용한다: 최종 출력을 추정하는 예측망과 캐시 히트로 사용할 수 있는지 결정하는 선택망.
• 시스템은 검증 데이터셋을 사용해 사전 오프라인 튜닝을 수행하여 히트율과 정확도를 추정하고, 최적의 캐시 레이어 배치 및 모델 아키텍처를 선정한다.
• 추론 도중 Gati는 각 레이어 이후 캐시 히트 여부를 확인한다; 히트가 발생하면 후속 레이어의 계산을 건너뛴다.
• 시스템은 모델의 DAG를 기반으로 쿼리 계획을 지원하여 지연 시간 SLO와 입력 특성에 따라 동적으로 DNN 선택이 가능하다.
• Gati는 런타임에서 증분 재계획을 적용하여 워크로드 변화에 따라 모델 선택을 적응적으로 조정함으로써 지연 시간과 정확도를 동시에 향상시킨다.
• 학습된 캐시 메커니즘은 종단 간 서빙 시스템에 통합되어 전체 정확도를 유지하면서도 더 쉬운 입력에 대해 가속화를 제공한다.

실험 결과

연구 질문

• RQ1 학습된 캐시—중간 DNN 출력과 캐시 히트를 예측하는 기계학습 모델—는 정확도를 희생시키지 않고 추론 지연 시간을 줄일 수 있는가?
• RQ2 실제 예측 워크로드에서 관찰되는 시간적 국소성을 어떻게 활용하여 DNN 추론을 가속화할 수 있는가?
• RQ3 추론 시점에서 모델 깊이를 선택하는 늦은 바인딩 기법(즉, 지연 시간 SLO에 따라 모델 복잡도를 결정하는 방식)이 평균 지연 시간을 얼마나 줄일 수 있는가?
• RQ4 증분 재계획이 동적 예측 워크로드에서 지연 시간과 정확도를 동시에 향상시킬 수 있는가?
• RQ5 학습된 캐시를 DNN 추론에 구현할 때, 메모리, 컴퓨팅 자원, 지연 시간 간 최적의 트레이드오프는 무엇인가?

주요 결과

• Gati는 학습된 캐시와 동적 모델 선택을 활용하여 실제 워크로드에서 평균 추론 지연 시간을 최대 7.69배 감소시킨다.
• 증분 재계획을 통해 종단 간 정확도가 최대 1% 향상되며, 이는 자주 발생하는 입력에 대해 더 정확한 모델을 사용할 수 있도록 해준다.
• 엄격한 지연 시간 SLO(≤100 ms) 조건에서, Gati는 약 79%의 요청에 대해 얼굴 인식에 적합한 SE-LResNet50E-IR 모델과 약 80%의 요청에 대해 차량 인식에 적합한 ResNet-50 모델을 사용할 수 있도록 해주며, 캐시 히트로 인한 지연 시간 절감 덕분이다.
• 기존 캐싱 방식에 비해 학습된 캐시 접근 방식은 고차원 특징 매핑을 저장하는 대신 압축된 기계학습 모델을 사용함으로써 메모리 오버헤드와 검색 지연을 줄여준다.
• Gati의 증분 재계획 메커니즘은 워크로드 변화에 동적으로 적응할 수 있게 해주며, 지연 시간과 정확도를 동시에 향상시킨다.
• 시스템은 학습된 캐시가 기존의 모델 캐스케이드 기법과 조화를 이룰 수 있으며, 정확도 손실 없이 추가적인 지연 시간 절감 효과를 제공함을 보여준다.