[논문 리뷰] CacheNet: A Model Caching Framework for Deep Learning Inference on the Edge

Yihao Fang, Shervin Manzuri Shalmani외 1명|arXiv (Cornell University)|2020. 07. 03.

Advanced Neural Network Applications참고 문헌 23인용 수 8

한 줄 요약

CacheNet는 엣지 디바이스에서 저복잡도 하위모델을 로컬로 캐시하고 고정확도 전체 모델을 엣지 또는 클라우드 서버에 저장함으로써 딥러닝 추론을 가속화하는 모델 캐싱 프레임워크이다. 스트리밍 입력에서 시간적 국소성을 활용함으로써, 기준 엣지 전용 또는 디바이스 전용 접근 방식 대비 58–217% 빠른 추론을 달성하면서 정확도 손실을 최소화한다.

ABSTRACT

The success of deep neural networks (DNN) in machine perception applications such as image classification and speech recognition comes at the cost of high computation and storage complexity. Inference of uncompressed large scale DNN models can only run in the cloud with extra communication latency back and forth between cloud and end devices, while compressed DNN models achieve real-time inference on end devices at the price of lower predictive accuracy. In order to have the best of both worlds (latency and accuracy), we propose CacheNet, a model caching framework. CacheNet caches low-complexity models on end devices and high-complexity (or full) models on edge or cloud servers. By exploiting temporal locality in streaming data, high cache hit and consequently shorter latency can be achieved with no or only marginal decrease in prediction accuracy. Experiments on CIFAR-10 and FVG have shown CacheNet is 58-217% faster than baseline approaches that run inference tasks on end devices or edge servers alone.

연구 동기 및 목표

• 엣지 기반 딥러닝 응용 프로그램에서 추론 지연과 예측 정확도 사이의 상충 관계를 해결한다.
• 자원이 제한된 종단 장치에서 대규모 압축 해제된 DNN을 실행하는 데서 비롯되는 한계를 극복한다.
• 엣지 디바이스에 자주 사용되는 하위모델을 캐시함으로써 클라우드 기반 추론의 통신 지연을 줄인다.
• 스트리밍 데이터에서 시간적 국소성을 활용하여 캐시 히트 비율과 시스템 효율을 향상시킨다.
• 다양한 DNN 압축 및 추론 형식을 지원하는 유연하고 아키텍처에 구애받지 않는 프레임워크를 제공한다.

제안 방법

• 사전 학습된 전체 DNN에서 지식의 부분 집합을 포괄하는 다수의 하위모델을 생성한다.
• 예측 엔트로피와 신뢰도 임계값을 기반으로 종단 장치에 저복잡도 하위모델을 캐시한다.
• 임계값 기반 캐시 정책을 적용: 예측 엔트로피가 사전 정의된 임계값 T 이하일 경우 캐시 히트로 간주한다.
• 각 입력에 적합한 캐시된 하위모델을 선택하기 위해 종단 장치에서 S-InfoVAE를 활용한다.
• 하위모델의 제거 및 교체를 관리하기 위해 LRU(가장 오래 사용하지 않은) 캐시 교체 정책을 적용한다.
• 캐시 미스를 처리하기 위해 전체 모델과 모든 하위모델을 엣지 또는 클라우드 서버에 저장한다.

실험 결과

연구 질문

• RQ1 엣지 디바이스에서 모델 캐싱이 예측 정확도를 희생시키지 않고 추론 지연을 크게 줄일 수 있는가?
• RQ2 스트리밍 입력에서 시간적 국소성을 활용하면 DNN 추론에서 캐시 히트 비율이 향상되는가?
• RQ3 제안된 프레임워크에서 하위모델 용량 증가 또는 캐시된 하위모델 수 증가가 캐시 성능에 어떤 영향을 미치는가?
• RQ4 CacheNet은 Bélády의 이방(Anomaly)을 피할 수 있는가? 즉, 캐시 크기를 늘릴수록 성능이 악화되는가?
• RQ5 속도와 정확도 측면에서 CacheNet은 엣지 전용 및 디바이스 전용 추론보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• CIFAR-10에서는 종단 장치 전용 접근 방식 대비 CacheNet이 2.2배 빠른 추론을 달성했고, FVG에서는 1.5배 빠르다.
• CIFAR-10에서는 엣지 서버 전용 추론 대비 58% 빠르며, FVG에서는 71% 빠르다.
• 데이터셋과 설정에 따라 기준 접근 방식 대비 CacheNet이 지연을 58–217% 감소시킨다.
• 하위모델 압축으로 인한 정확도 손실이 미미하여 CacheNet은 높은 예측 정확도를 유지한다.
• 이론적 분석을 통해 하위모델 용량 증가 또는 캐시된 하위모델 수 증가 시 항상 히트 비율을 향상시키거나 유지함으로써 CacheNet이 Bélády의 이방을 겪지 않는 것으로 확인되었다.
• 실증적 평가를 통해 더 큰 하위모델이나 더 많은 캐시된 하위모델이 더 높은 캐시 히트 비율을 제공함을 확인하였으며, 이는 이론적 보장을 검증한다.