[논문 리뷰] Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching

Alessandro Finamore, James W. Roberts외 2명|arXiv (Cornell University)|2021. 12. 13.

Caching and Content Delivery참고 문헌 50인용 수 9

한 줄 요약

이 논문은 사용자가 정의한 근사 함수를 사용하여 유사한 입력에 대해 근사 결과를 반환함으로써 딥러닝 추론을 가속화하는 새로운 캐싱 패러다임인 근사 키 캐싱을 제안한다. 동시에 근사 오차를 명시적으로 제어하기 위한 자동 새로 고침 메커니즘을 도입한다. 이 방법은 최대 98%의 히트율을 달성하면서 오차율이 2% 미만이 되며, 정확성과 속도 면에서 유사성 기반 캐싱을 능가한다.

ABSTRACT

While Deep Learning (DL) technologies are a promising tool to solve networking problems that map to classification tasks, their computational complexity is still too high with respect to real-time traffic measurements requirements. To reduce the DL inference cost, we propose a novel caching paradigm, that we named approximate-key caching, which returns approximate results for lookups of selected input based on cached DL inference results. While approximate cache hits alleviate DL inference workload and increase the system throughput, they however introduce an approximation error. As such, we couple approximate-key caching with an error-correction principled algorithm, that we named auto-refresh. We analytically model our caching system performance for classic LRU and ideal caches, we perform a trace-driven evaluation of the expected performance, and we compare the benefits of our proposed approach with the state-of-the-art similarity caching -- testifying the practical interest of our proposal.

연구 동기 및 목표

• 실시간 네트워킹 응용 프로그램에서 딥러닝 추론의 높은 계산 비용을 해결하기 위해.
• 크고 비대칭적인 입력 공간을 가진 분류 작업에서 정확한 캐싱과 유사성 기반 캐싱의 한계를 극복하기 위해.
• 정확도 제어를 포기하지 않고도 히트율을 높이는 캐싱 시스템을 설계하기 위해.
• 캐시된 결과의 근사 오차를 명시적으로 관리하는 메커니즘을 도입하기 위해.
• 실제 트래픽 분류 트레이스를 기반으로 최신 기술인 유사성 기반 캐싱과의 성능을 평가하기 위해.

제안 방법

• 사용자가 정의한 APPROX(·) 함수를 통해 입력을 캐시 키로 매핑함으로써 히트율을 높이는 근사 키 캐싱을 제안한다.
• 캐시된 항목을 동적으로 검증하고 오차 전파를 제어하기 위해 자동 새로 고침 메커니즘을 도입한다.
• 정확도를 유지하기 위해 캐시된 결과 사용(이윤 극대화)과 전체 추론을 통한 검증(탐색) 간의 균형을 이루는 하이브리드 전략을 활용한다.
• LRU 및 이상적 캐시 정책에 대한 오차율을 분석적으로 모델링하여 수치적 해와 닫힌 형태의 해를 제공한다.
• 실제 트래픽 분류 데이터를 기반으로 추적 기반 평가를 수행하여 정확한 캐싱 및 유사성 기반 캐싱과의 성능을 비교한다.
• 비교를 위한 기준으로 kNN 기반 유사성 검색(BallTree, LSH)을 사용하며, APPROX(·) 함수는 접두사 해싱 기반으로 구성된다.

실험 결과

연구 질문

• RQ1 큰 입력 공간에서 정확한 캐싱과 비교해 근사 키 캐싱이 히트율을 크게 향상시킬 수 있는가?
• RQ2 자동 새로 고침 메커니즘이 실질적으로 근사 오차를 어떻게 제어하는가?
• RQ3 근사 키 캐싱과 유사성 기반 캐싱 간의 검색 속도와 정확성 간의 성능 트레이드오프는 어떠한가?
• RQ4 근사 키 캐싱에서 다양한 캐시 정책(LRU 대 이상적 정책)이 오차율과 히트율에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 수용 가능한 분류 정확도를 유지하면서 딥러닝 추론 비용을 줄일 수 있는가?

주요 결과

• 근사 키 캐싱은 최대 98%의 히트율을 달성하면서 오차율이 2% 미만이 되며, 이는 비교적 유사한 히트율에서 오차율이 65%가 넘는 유사성 기반 캐싱보다 뚜렷이 뛰어난 성능을 보인다.
• 근사 키 캐싱의 검색 시간은 약 1 마이크로초이며, 이는 유사성 기반 캐싱(100ms)에 비해 수 개의 주기만큼 더 빠르며, 실시간 시스템에 적합하다.
• 자동 새로 고침 메커니즘이 효과적으로 오차를 제어하여, 초기 오차가 높은 조건에서도 오차율을 감소시킨다.
• 캐시 크기가 커질수록 근사 키 캐싱과 유사성 기반 캐싱 간의 성능 격차가 커지며, 이는 후자의 높은 유사성 검색 비용 때문인 것으로 나타났다.
• 접두사 해싱 기반의 APPROX(·) 함수는 낮은 계산 오버헤드를 유지하면서도 높은 히트율을 달성한다.
• 분석 모델은 LRU 및 이상적 캐시 정책에 대해 정확하게 오차율을 예측하며, 이는 이론적 프레임워크의 타당성을 입증한다.