[논문 리뷰] DimmWitted: A Study of Main-Memory Statistical Analytics

Ce Zhang, Christopher Ré|arXiv (Cornell University)|2014. 03. 28.

Graph Theory and Algorithms참고 문헌 42인용 수 17

한 줄 요약

이 논문은 NUMA 아키텍처에서 메인메모리 통계 분석의 데이터 접근 방식(행기반 대비 열기반), 모델 복제의 세분성, 데이터 복제 전략 간의 상호 작용을 탐색하는 프로토타입 시스템인 DimmWitted를 소개한다. 이러한 설계 요소들을 체계적으로 평가함으로써, 저자들은 기존 시스템 대비 유명한 기계학습 워크로드(예: 로지스틱 회귀, SVM, 신경망)에서 최대 100×의 성능 향상을 달성하는 최적화된 구성이 가능하다는 것을 입증하며, 현재 분석 엔진에서 활용되지 않은 잠재적 성능을 드러낸다.

ABSTRACT

We perform the first study of the tradeoff space of access methods and replication to support statistical analytics using first-order methods executed in the main memory of a Non-Uniform Memory Access (NUMA) machine. Statistical analytics systems differ from conventional SQL-analytics in the amount and types of memory incoherence they can tolerate. Our goal is to understand tradeoffs in accessing the data in row- or column-order and at what granularity one should share the model and data for a statistical task. We study this new tradeoff space, and discover there are tradeoffs between hardware and statistical efficiency. We argue that our tradeoff study may provide valuable information for designers of analytics engines: for each system we consider, our prototype engine can run at least one popular task at least 100x faster. We conduct our study across five architectures using popular models including SVMs, logistic regression, Gibbs sampling, and neural networks.

연구 동기 및 목표

• 메인메모리 통계 분석에서 하드웨어 효율성과 통계 효율성 간의 미해결된 설계 트레이드오프 공간을 탐색하기 위해.
• 고정된 접근 패턴(행기반 또는 열기반)과 복제 전략을 사용하는 기존 시스템에서 발생하는 성능 저하 요인을 규명하기 위해.
• 다양한 데이터 접근 방식, 모델 복제의 세분성(코어 단위, 소켓 단위, 노드 단위), 그리고 데이터 복제 전략이 수렴 시간과 시스템 성능에 미치는 영향을 평가하기 위해.
• 현재 시스템이 현대 하드웨어를 최대 두 개의 지수 단위까지 낭비하고 있음을 입증하며, 특히 통계 워크로드에서 두드러진다.
• 향후 세대의 분석 엔진을 위한 성능 및 효율성 향상을 위한 설계 공간 분석을 제공하기 위해.

제안 방법

• 저자들은 데이터 레이아웃과 접근 의미 체계를 추상화하여 행 우선, 열 우선, 하이브리드 접근 방식을 모두 지원하는 프로토타입 엔진인 DimmWitted를 설계한다.
• 데이터 크기, 모델 유형, 머신 구성에 따라 최적의 접근 방식을 동적으로 선택하기 위한 비용 모델을 도입하여 벽시계 수렴 시간을 최소화한다.
• 모델 복제는 세 가지 세분성 수준에서 평가된다: 코어 단위(공유 없음), 소켓 단위(粗 granularity), 노드 단위(가장粗 granularity), NUMA 인식 메모리 접근 패턴 하에서 성능을 측정한다.
• 공유 메모리 및 분산 메모리 모델을 활용해 데이터 복제를 탐색하며, 다섯 가지의 서로 다른 하드웨어 아키텍처에서 성능을 측정한다.
• SGD 및 SCD와 같은 일阶 최적화 방법을 지원하며, 접근 패턴을 추상화하여 아키텍처 간 비교를 가능하게 한다.
• 표준 모델(로지스틱 회귀, SVM, 깁스 샘플링, 신경망 포함)을 사용해 다섯 가지 아키텍처에서 실험을 수행하며, 수렴 시간과 메모리 대역폭을 주요 메트릭으로 삼는다.

실험 결과

연구 질문

• RQ1 NUMA 시스템에서 행 기반과 열 기반 데이터 접근 패턴이 메인메모리 통계 분석 워크로드의 벽시계 성능에 어떤 영향을 미치는가?
• RQ2 하드웨어 효율성과 수렴 속도를 균형 있게 고려할 때, 모델 복제의 최적 세분성(코어 단위, 소켓 단위, 노드 단위)은 무엇인가?
• RQ3 공유 메모리, 다중 소켓 시스템에서 메인메모리 통계 분석의 성능과 확장성에 대해 데이터 복제가 어떤 영향을 미치는가?
• RQ4 통합 엔진이 동적으로 여러 접근 및 복제 전략을 지원할 수 있는가? 만약 가능하다면, 최적의 구성은 어떻게 선택하는가?
• RQ5 기존 시스템이 메인메모리 분석에서 통계 효율성과 하드웨어 효율성 간의 상호 작용을 재고함으로써 얼마나 향상시킬 수 있는가?

주요 결과

• 동일한 통계 작업에 대해 데이터 접근 방식(행 기반 대비 열 기반)의 선택에 따라 수렴 시간에 최대 100×의 차이가 발생하며, 모든 워크로드에서 한 가지 방식이 우세하지는 않다.
• 모델 복제를 코어 단위로 수행할 경우 NUMA 시스템에서 높은 통신 오버헤드와 낮은 확장성 문제가 발생하지만, 노드 단위 복제에서는 경쟁을 줄이고 성능을 향상시킨다.
• 제안된 비용 모델은 다양한 데이터셋, 모델, 하드웨어 구성에서 거의 최적의 접근 방식을 선택하여 수렴 시간을 최소화한다.
• DimmWitted는 평가된 모든 워크로드에서 최소한 한 가지 유명한 통계 작업에서 기존 시스템(예: MLlib, GraphLab, Spark) 대비 최소 100×의 성능 향상을 달성한다.
• MLlib, GraphLab, MADlib 등의 현재 산업 및 연구 시스템은 데이터 접근 및 복제 설계의 비최적화로 인해 현대 하드웨어를 최대 두 개의 지수 단위까지 낭비하고 있으며, 성능 격차가 발생한다.
• 이 연구는 통계 효율성과 하드웨어 효율성이 상호 독립적이지 않음을 드러내며, 한쪽을 희생하여 다른 쪽을 최적화할 경우 심각한 성능 저하가 발생한다.