[논문 리뷰] Dot-Product Join: An Array-Relation Join Operator for Big Model Analytics

Chengjie Qin, Florin Rusu|arXiv (Cornell University)|2016. 02. 29.

Graph Theory and Algorithms참고 문헌 43인용 수 4

한 줄 요약

이 논문은 주로 메인 메모리 외부에서 대규모 기계 학습 모델을 훈련하기 위해 효율적으로 희소 배열과 밀도 높은 관계 간의 내적 연산을 수행할 수 있는 새로운 데이터베이스 연산자인 내적 조인 연산자를 소개한다. 동적 배치와 배열 재정렬 휴리스틱(최근접 이웃 기반, Radix, K-center)을 결합하여 I/O 오버헤드를 줄이고, 기존의 데이터베이스 내 솔루션 대비 최대 한 단계 빠른 실행 속도를 달성한다. 이로 인해 보조 저장소에서 확장 가능한 대규모 모델 분석이 가능해진다.

ABSTRACT

Big Model analytics tackles the training of massive models that go beyond the available memory of a single computing device, e.g., CPU or GPU. It generalizes Big Data analytics which is targeted at how to train memory-resident models over out-of-memory training data. In this paper, we propose an in-database solution for Big Model analytics. We identify dot-product as the primary operation for training generalized linear models and introduce the first array-relation dot-product join database operator between a set of sparse arrays and a dense relation. This is a constrained formulation of the extensively studied sparse matrix vector multiplication (SpMV) kernel. The paramount challenge in designing the dot-product join operator is how to optimally schedule access to the dense relation based on the non-contiguous entries in the sparse arrays. We prove that this problem is NP-hard and propose a practical solution characterized by two technical contributions---dynamic batch processing and array reordering. We devise three heuristics -- LSH, Radix, and K-center -- for array reordering and analyze them thoroughly. We execute extensive experiments over synthetic and real data that confirm the minimal overhead the operator incurs when sufficient memory is available and the graceful degradation it suffers as memory becomes scarce. Moreover, dot-product join achieves an order of magnitude reduction in execution time over alternative in-database solutions.

연구 동기 및 목표

• 메인 메모리 용량을 초과하는 대규모 기계 학습 모델을 훈련하는 데 도전하는 문제를 해결하기 위해, 특히 데이터베이스 내 분석 시스템에서의 적용을 목적으로 한다.
• 일반화된 선형 모델의 핵심 연산인 희소 배열과 밀도 높은 관계 간의 내적 연산을 효율적으로 계산할 수 있는 데이터베이스 연산자를 설계하기 위해.
• 비연속적인 희소 배열 요소가 존재할 경우, 주로 보조 저장소에 저장된 자료에 대한 I/O 접근을 최소화하는 것. 이는 메모리가 부족한 환경에서 성능에 매우 중요한 요소이다.
• 기존의 배열 또는 조인 연산자와 달리 중간 결과를 물리적으로 저장하지 않는 확장 가능한, 데이터베이스 내 솔루션을 제공하기 위해.
• 메모리 외부에 있는 벡터에 대해 SpMV 커널을 효율적으로 실행할 수 있도록 하여 데이터베이스 시스템의 대규모 기계 학습 적용 범위를 넓히기 위해.

제안 방법

• 희소 배열과 밀도 높은 관계 간의 내적 연산을 단일 최적화된 연산으로 수행하는 물리적 데이터베이스 연산자로 내적 조인 연산자를 제안한다.
• 여러 내적 연산을 더 큰 I/O 효율적인 배치로 묶는 동적 배치 기법을 도입하여 보조 저장소 접근 횟수를 줄인다.
• 공간 국소성을 향상시키고 벡터 접근 중 랜덤 I/O를 줄이기 위해 희소 배열 요소를 재정렬하는 휴리스틱 기법(LSH, Radix, K-center)을 적용한다.
• 희소 행렬-벡터 곱셈(SpMV) 커널을 제약 조건이 있는 조인 연산으로 재구성하여 집계를 조인 내부로 밀어넣어 중간 결과의 물리적 저장을 피한다.
• 내적 조인의 최적 접근 스케줄링이 NP-난해임을 증명하여 휴리스틱 기반 최적화 전략의 필요성을 정당화한다.
• 밀도 높은 벡터는 보조 저장소에 저장하고, 희소 배열은 주로 메인 메모리에서 처리하면서 I/O에 민감한 스케줄링 전략을 적용하는 하이브리드 저장 모델을 사용한다.

실험 결과

연구 질문

• RQ1 메모리 용량을 초과하는 모델 벡터를 다룰 때, 주로 메인 메모리 외부에서 대규모 모델 훈련을 위해 희소 배열과 밀도 높은 관계 간의 내적 연산을 효율적으로 수행할 수 있는 데이터베이스 연산자를 설계할 수 있는가?
• RQ2 메모리 외부에 있는 벡터에 대해 비연속적인 희소 배열 요소를 처리할 때, 접근 스케줄링이 I/O 성능에 미치는 영향은 어떠한가?
• RQ3 LSH, Radix, K-center와 같은 다양한 배열 재정렬 휴리스틱 기법은 내적 조인의 I/O 감소 및 실행 시간 측면에서 어떻게 상호 비교되는가?
• RQ4 메모리가 부족해질 경우 내적 조인 연산자의 성능은 어떻게 저하되며, 기존의 다른 데이터베이스 내 솔루션과 비교해 볼 때 어떤가?
• RQ5 내적 조인 연산자는 로지스틱 회귀의 기울기 하강법이나 저랭크 행렬 분해 외의 다른 SpMV 워크로드로 일반화될 수 있는가?

주요 결과

• 내적 조인 연산자는 대규모 모델 분석에서 기존의 데이터베이스 내 솔루션 대비 실행 시간을 한 단계 감소시킨다.
• 메모리 부족 상황에서도 효과적인 I/O 최적화 덕분에 성능 저하가 부드럽게 이루어지며, 지속적인 성능 유지를 보인다.
• 세 가지 재정렬 휴리스틱 중 Radix 재정렬이 가장 뛰어난 확장성과 성능을 보이며, 기본적인 LRU 기반 접근 전략보다 뚜렷이 뛰어나다.
• 동적 배치 기법은 여러 내적 연산을 더 큰 순차적 I/O 연산으로 통합하여 보조 저장소 접근 횟수를 효과적으로 줄인다.
• 내적 조인 연산자는 주로 보조 저장소에서 벡터에 접근할 수 있는 첫 번째 SpMV 커널로, 메모리 용량을 초과하는 모델에 대한 외부 메모리 계산을 가능하게 한다.
• 중간 결과의 물리적 저장이 필요 없어지므로, 기존의 배열-조인 또는 UDF 기반 접근 방식보다 더 효율적이다.