[논문 리뷰] The MADlib Analytics Library or MAD Skills, the SQL

Joe Hellerstein, Christopher Ré외 9명|arXiv (Cornell University)|2012. 08. 21.

Advanced Database Systems and Queries참고 문헌 36인용 수 51

한 줄 요약

MADlib는 오픈소스이며 SQL 기반의 분석 라이브러리로, 데이터 이동을 제거하고 SQL과 사용자 정의 함수를 사용해 데이터베이스 내에서 알고리즘을 실행함으로써 병렬 데이터베이스 관리 시스템(DBMS) 내에서 확장 가능한 머신러닝과 통계 계산을 가능하게 한다. 이는 데이터베이스 내 실행, 병렬 처리 및 최적화된 선형 대수 커널을 통해 높은 성능을 달성하며, Greenplum DBMS에서 입증된 속도 향상 효과를 보였다.

ABSTRACT

MADlib is a free, open source library of in-database analytic methods. It provides an evolving suite of SQL-based algorithms for machine learning, data mining and statistics that run at scale within a database engine, with no need for data import/export to other tools. The goal is for MADlib to eventually serve a role for scalable database systems that is similar to the CRAN library for R: a community repository of statistical methods, this time written with scale and parallelism in mind. In this paper we introduce the MADlib project, including the background that led to its beginnings, and the motivation for its open source nature. We provide an overview of the library's architecture and design patterns, and provide a description of various statistical methods in that context. We include performance and speedup results of a core design pattern from one of those methods over the Greenplum parallel DBMS on a modest-sized test cluster. We then report on two initial efforts at incorporating academic research into MADlib, which is one of the project's goals. MADlib is freely available at http://madlib.net, and the project is open for contributions of both new methods, and ports to additional database platforms.

연구 동기 및 목표

• 확장 가능한 데이터베이스 내 분석의 증가하는 수요를 충족시키기 위해 통계 및 머신러닝 방법을 통합하고 오픈소스로 제공하는 데 목적이 있다.
• 신규 알고리즘을 생산용 데이터베이스 시스템에 통합할 수 있도록 학계 연구와 산업 적용 간 격차를 메우는 데 목적이 있다.
• 데이터 내보내기 없이 대규모 데이터 분석을 지원하기 위해 알고리즘을 데이터베이스 관리 시스템(DBMS) 내에서 직접 실행하는 데 목적이 있다.
• R의 CRAN과 유사한 커뮤니티 주도 프레임워크를 구축하여 확장 가능한 병렬 데이터베이스 시스템을 대상으로 하되, 이를 설계하는 데 목적이 있다.
• 데이터 이동이나 외부 도구 없이도 기존 기업용 데이터 인fra구조에 고급 분석을 원활하게 통합할 수 있도록 하는 데 목적이 있다.

제안 방법

• DBMS 내부에서 SQL 저장 프로시저와 사용자 정의 함수(UDF)로 통계 및 머신러닝 알고리즘을 구현한다.
• 현대 DBMS의 병렬적이고 공유 자원이 없는 아키텍처(예: Greenplum)를 활용하여 여러 노드에 걸쳐 계산을 확장한다.
• 데이터를 디스크, 메모리, 분산 노드 간 이동을 조율하기 위해 선언적 SQL을 사용하며, 계산 집약적인 커널은 고성능 C++ UDF로 이관한다.
• 반복 알고리즘(예: 공액 기울기, k-means)의 고수준 제어를 위해 Python 드라이버 스크립트를 활용하여 데이터베이스 내 계산을 조율한다.
• 희소 벡터, 배열 연산, 선형 대수 기본 연산을 지원하는 모듈식이고 확장 가능한 라이브러리 아키텍처를 설계하여 복잡한 모델을 가능하게 한다.
• C++ 기반 추상화 레이어를 통해 저수준 DBMS 전용 인터페이스를 추상화하여 다양한 DBMS 플랫폼 간 이식 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 SQL 기반 DBMS 내에서 통계 및 머신러닝 알고리즘을 효과적으로 표현하고 실행하여 데이터 이동을 방지할 수 있는가?
• RQ2 스케일링 가능한 데이터베이스 내 분석을 가능하게 하는 아키텍처 패턴은 무엇이며, 이는 감독 학습과 비감독 학습 모두를 지원하는가?
• RQ3 SQL과 UDF를 통한 데이터베이스 내 실행이 Hadoop과 같은 전용 대규모 데이터 프레임워크 수준의 성능을 달성할 수 있는가?
• RQ4 학계의 데이터 과학 연구를 재사용 가능한 오픈소스 라이브러리를 통해 생산용 데이터베이스 시스템에 체계적으로 통합할 수 있는가?
• RQ5 이질적인 DBMS 플랫폼 간 데이터베이스 내 분석 라이브러리 이식 과정에서의 주요 과제와 설계 상충 관계는 무엇인가?

주요 결과

• MADlib은 선형 회귀, 로지스틱 회귀, k-means, SVD, LDA 등 다양한 통계 및 머신러닝 방법을 SQL 기반 DBMS 내에서 직접적으로 구현하였다.
• 데이터베이스 내 실행 덕분에 높은 성능 향상을 달성하였으며, 핵심 계산 패턴에 대해 소규모 Greenplum 클러스터에서 최대 10배의 속도 향상이 보고되었다.
• 저수준 선형 대수 연산을 위한 사용자 정의 함수(UDF)의 사용은 성능이 뛰어나면서도 플랫폼 간 이식성을 유지하는 데 기여하였다.
• 라이브러리의 설계는 학계 연구의 원활한 통합을 가능하게 하였으며, 초기 두 가지 연구 기반 알고리즘이 성공적으로 프레임워크에 통합되었다.
• MADlib의 아키텍처는 메모리 내 및 외부 메모리 실행을 모두 지원하여, 공유 자원이 없는 병렬 DBMS에서 대규모 데이터셋의 스케일링 가능한 처리를 가능하게 하였다.
• SQL 기반 분석이 Hadoop MapReduce와 같은 저수준 프레임워크에 비해 성능과 개발자 생산성이 우선시될 경우 실용적인 대안이 될 수 있음을 입증하였다.