[논문 리뷰] Towards a Unified Architecture for in-RDBMS Analytics

Xixuan Feng, Arun Kumar외 2명|arXiv (Cornell University)|2012. 03. 12.

Advanced Database Systems and Queries참고 문헌 26인용 수 5

한 줄 요약

이 논문은 RDBMS 내에서 사용자 정의 집계 함수(UDA)를 활용하여 로지스틱 회귀, SVM, 행렬 분해 등 다양한 볼록 최적화 기반 분석 기법을 최소한의 코드(최소 10줄의 C 코드)로 구현할 수 있는 통합 아키텍처인 Bismarck을 제안한다. 핵심 기여는 데이터 정렬, 병렬 처리 및 다중화된 레저보이어 샘플링을 활용하여 기존 RDBMS 분석 도구보다 경쟁력 있거나 더 뛰어난 성능을 달성하는 일반적이고 고성능 프레임워크를 설계한 것이다.

ABSTRACT

The increasing use of statistical data analysis in enterprise applications has created an arms race among database vendors to offer ever more sophisticated in-database analytics. One challenge in this race is that each new statistical technique must be implemented from scratch in the RDBMS, which leads to a lengthy and complex development process. We argue that the root cause for this overhead is the lack of a unified architecture for in-database analytics. Our main contribution in this work is to take a step towards such a unified architecture. A key benefit of our unified architecture is that performance optimizations for analytics techniques can be studied generically instead of an ad hoc, per-technique fashion. In particular, our technical contributions are theoretical and empirical studies of two key factors that we found impact performance: the order data is stored, and parallelization of computations on a single-node multicore RDBMS. We demonstrate the feasibility of our architecture by integrating several popular analytics techniques into two commercial and one open-source RDBMS. Our architecture requires changes to only a few dozen lines of code to integrate a new statistical technique. We then compare our approach with the native analytics tools offered by the commercial RDBMSes on various analytics tasks, and validate that our approach achieves competitive or higher performance, while still achieving the same quality.

연구 동기 및 목표

• 현재 각 알고리즘마다 특수하게 맞춤형으로 개발되어야 하는 분석 기법을 RDBMS에 구현할 경우 발생하는 높은 개발 및 유지보수 부담을 해소하기 위해.
• 로지스틱 회귀, SVM, 행렬 분해, 칼만 필터 등 다양한 분석 워크로드를 RDBMS 내에서 하나의 재사용 가능한 아키텍처로 통합하기 위해.
• 기존 데이터베이스 기능을 재사용하여 상용 및 오픈소스 RDBMS에 새로운 통계 기법을 통합하는 데 소요되는 복잡성과 시간을 줄이기 위해.
• RDBMS 최적화 기능인 병렬 실행 및 효율적인 데이터 접근 패턴을 활용하여 내장된 분석 도구들과 비교해도 경쟁력 있거나 뛰어난 성능을 달성하기 위해.
• PostgreSQL 및 두 개의 상용 시스템을 포함한 여러 RDBMS 플랫폼에서 프레임워크의 타당성과 성능을 검증하기 위해.

제안 방법

• 분석 작업을 볼록 프로그래밍 문제로 표현하며, 특히 누적 기울기 하강법(IGD)으로 해결 가능한 문제들에 초점 맞추기. IGD는 SQL 집계 함수와 유사한 데이터 접근 패턴을 가짐.
• 모든 주요 RDBMS에서 표준으로 제공되는 사용자 정의 집계(UDA) 함수를 사용하여 IGD 및 기타 분석 알고리즘을 구현함. 이를 통해 기존 쿼리 계획 및 최적화와의 원활한 통합이 가능해짐.
• 잠금 없음(NoLock) 및 AIG 변종을 포함한 공유 메모리 UDA 병렬 처리 모델을 도입하여 다중코어 시스템에서 효율적이고 확장 가능한 실행을 가능하게 하며, 잠금과 모델 전달 오버헤드로 인한 성능 저하를 방지함.
• 메모리에 담기 어려운 대규모 데이터셋에서 수렴 속도를 향상시키기 위해 다중화된 레저보이어 샘플링(MRS) 기법을 설계 및 구현함. 이는 서브샘플링 및 클러스터링된 데이터 접근 방식보다 뛰어난 성능을 보임.
• 데이터 저장 순서 최적화 및 RDBMS의 동시성 제어 및 쿼리 최적화 기능을 활용하여 다양한 분석 워크로드에서 성능 향상을 도모함.
• PostgreSQL, 두 개의 상용 시스템을 포함한 여러 RDBMS와 Classify300M, Matrix5B 등의 데이터셋을 대상으로 아키텍처를 검증하여 일반성과 확장성 입증.

실험 결과

연구 질문

• RQ1 표준 RDBMS 기능만을 사용하여 광범위한 RDBMS 내 분석 기법을 지원할 수 있는 통합 아키텍처를 구축할 수 있는가?
• RQ2 데이터 저장 순서가 RDBMS 내 반복적 분석 알고리즘(예: IGD)의 성능에 어떤 영향을 미치는가?
• RQ3 단일 노드 다중코어 시스템에서 UDA 기반 분석에 대해 다양한 병렬 처리 전략(예: 잠금 vs. NoLock)의 성능 영향은 어떠한가?
• RQ4 경량의 다중화된 레저보이어 샘플링 기법이 디스크 기반 데이터에서의 수렴 속도 향상과 런타임 단축에 기여할 수 있는가?
• RQ5 제안된 Bismarck 아키텍처의 성능가 상용 RDBMS 내장 분석 도구들과 비교해 볼 때 어떻게 되는가?

주요 결과

• Bismarck는 상용 RDBMS 내장 분석 도구들과 비교해도 경쟁력 있거나 뛰어난 성능을 달성했으며, NoLock 병렬 처리 방식을 사용할 경우 선형적인 속도 향상을 기록함.
• NoLock 공유 메모리 UDA 병렬 처리 방식은 동기화 오버헤드가 줄어들어 잠금 방식과 순수 UDA 방식보다 뛰어난 성능을 보였으며, 다중코어 시스템에서 선형 속도 향상을 달성함.
• 다중화된 레저보이어 샘플링(MRS)은 서브샘플링 및 클러스터링된 데이터 접근 방식보다 더 빠른 수렴 속도를 보였으며, 대규모 데이터셋에서 최적 목표치의 2배에 도달하는 데 소요되는 런타임을 최대 80%까지 단축함.
• Classify300M 데이터셋에서 Bismarck는 MRS를 사용해 45분 만에 MADlib가 3시간 이상 소요하는 동일한 목표치에 도달함.
• Matrix5B에서 복잡한 LMF 작업을 수행한 결과, Bismarck는 몇 시간 내에 완료되었고, MADlib는 일주일이 넘도록 종료되지 않았음.
• 새로운 분석 기법 통합에 10~50줄의 C 코드만으로도 가능해져 개발 오버헤드가 크게 감소함.