[논문 리뷰] Bandana: Using Non-volatile Memory for Storing Deep Learning Models

Assaf Eisenman, Maxim Naumov외 6명|arXiv (Cornell University)|2018. 11. 14.

Caching and Content Delivery참고 문헌 20인용 수 41

한 줄 요약

Bandana는 비휘발성 메모리(NVM)와 작은 DRAM 캐시를 사용하여 추천 시스템용 임베딩을 저장하며, 초그래프 기반 분할과 미니어처 캐시 시뮬레이션을 활용해 NVM의 읽기 대역폭을 2–3× 향상시킨다.

ABSTRACT

Typical large-scale recommender systems use deep learning models that are stored on a large amount of DRAM. These models often rely on embeddings, which consume most of the required memory. We present Bandana, a storage system that reduces the DRAM footprint of embeddings, by using Non-volatile Memory (NVM) as the primary storage medium, with a small amount of DRAM as cache. The main challenge in storing embeddings on NVM is its limited read bandwidth compared to DRAM. Bandana uses two primary techniques to address this limitation: first, it stores embedding vectors that are likely to be read together in the same physical location, using hypergraph partitioning, and second, it decides the number of embedding vectors to cache in DRAM by simulating dozens of small caches. These techniques allow Bandana to increase the effective read bandwidth of NVM by 2-3x and thereby significantly reduce the total cost of ownership.

연구 동기 및 목표

• 대규모 추천 시스템에서 임베딩 테이블에 대한 DRAM 사용 감소.
• 임베딩의 기본 저장소로 NVM을 탐색하여 총 소유 비용(TCO)을 낮춘다.
• 데이터를 체계적으로 구성하고 지능적으로 캐시하여 실질적인 NVM 읽기 대역폭을 증가시킨다.
• 실용적인 성능 향상을 결정하기 위해 분할 및 캐싱 전략을 평가한다.

제안 방법

• 임베딩 읽기를 위해 NVM 읽기 대역폭 특성과 블록 입자(블록 granularity)가 4 KB인 것을 평가한다.
• 두 가지 임베딩-벡터 분할 전략을 적용: supervised SHP hypergraph partitioning과 unsupervised K-means clustering.
• 프리패칭 후 어떤 벡터를 캐시할지 결정하기 위해 테이블별 임계값 t를 사용하는 LRU 기반 캐시를 사용한다.
• 다수의 캐시 임계값을 시뮬레이션하기 위한 미니어처 캐시를 도입하고 실시간으로 최적의 임계값을 선택한다.
• 프리패칭된 벡터를 수용하고 제거(eviction) 영향 관리하기 위해 shadow cache를 도입한다.

실험 결과

연구 질문

• RQ1 NVM이 실시간 추천 워크로드에 대해 허용 가능한 지연과 처리량으로 대형 임베딩 테이블을 저장할 수 있는가?
• RQ2 임베딩 벡터를 어떻게 분할하여 공동 접근을 극대화하고 그에 따라 NVM 대역폭을 최대화할 수 있는가?
• RQ3 어떤 캐싱 및 어드미션 컨트롤 전략이 임베딩에 대한 NVM의 실효 대역폭을 가장 크게 증가시키는가?
• RQ4 미니어처 캐시 시뮬레이션이 성능 최적화를 위해 테이블별 캐시 임계값을 신뢰성 있게 구성할 수 있는가?

주요 결과

• Bandana는 NVM의 실효 읽기 대역폭을 순진한 DRAM 대체 대비 대략 2–3× 증가시킨다.
• Hypergraph-based supervised partitioning (SHP)이 일반적으로 unsupervised K-means보다 더 높은 대역폭 증가를 보인다.
• 프리패치 주도 캐싱은 신중한 관리가 필요하다; 모든 프리패치 벡터를 단순히 캐시하면 제거로 인해 성능이 저하될 수 있다.
• 미니어처 캐시는 낮은 오버헤드로 거의 이상적인 임계값 선택을 가능하게 하여, 대역폭 향상을 오라클 정책에 근접하게 달성한다.
• 임베딩 테이블의 접근 패턴에 따라 Bandana의 효과가 다르게 나타난다; 일부 테이블은 큰 대역폭 증가를 보이고, 다른 테이블은 그렇지 않다.
• DRAM 캐시를 무제한으로 사용할 때 SHP를 사용하는 것은 NVM을 임베딩의 기본 저장 매체로서의 잠재력을 보여준다.