[논문 리뷰] MLlib: Machine Learning in Apache Spark

Xiangrui Meng, Joseph K. Bradley외 14명|arXiv (Cornell University)|2015. 05. 26.

Machine Learning and Data Classification참고 문헌 10인용 수 961

한 줄 요약

이 논문은 분산 머신러닝 라이브러리인 MLlib를 소개한다. MLlib는 Apache Spark의 오픈소스 분산 머신러닝 라이브러리로, 분류, 회귀, 클러스터링, 협업 필터링, 차원 축소 등의 표준 알고리즘에 대한 확장 가능한 구현을 제공한다. Spark의 반복 계산 모델에 기반하고 Spark 생태계와 통합되어 있어, Java, Scala, Python, R에서 고성능과 확장성을 제공하며, 알고리즘적 및 시스템 수준 최적화 덕분에 버전 간 평균 3배의 성능 향상을 달성했다.

ABSTRACT

Apache Spark is a popular open-source platform for large-scale data processing that is well-suited for iterative machine learning tasks. In this paper we present MLlib, Spark's open-source distributed machine learning library. MLlib provides efficient functionality for a wide range of learning settings and includes several underlying statistical, optimization, and linear algebra primitives. Shipped with Spark, MLlib supports several languages and provides a high-level API that leverages Spark's rich ecosystem to simplify the development of end-to-end machine learning pipelines. MLlib has experienced a rapid growth due to its vibrant open-source community of over 140 contributors, and includes extensive documentation to support further growth and to let users quickly get up to speed.

연구 동기 및 목표

• 대규모이고 복잡한 데이터셋에서의 확장성 있고 분산된 머신러닝에 대한 증가하는 수요를 해결하기 위해.
• Apache Spark의 반복 계산 모델에 통합된 고성능, 프로덕션 준비 완료된 머신러닝 라이브러리를 제공하기 위해.
• 통합된 고수준 API를 통해 엔드 투 엔드 머신러닝 파이프라인 개발을 단순화하기 위해.
• 오픈소스 기여와 생태계 통합을 통해 공동체 주도의 빠른 개발과 확장성을 가능하게 하기 위해.
• Hadoop MapReduce 기반의 기존 시스템인 Mahout에 비해 뚜렷한 성능 및 확장성 향상을 입증하기 위해.

제안 방법

• MLlib는 Spark의 메모리 기반 계산과 최적화된 실행 엔진을 활용하여 반복적 머신러닝 알고리즘의 처리 속도를 향상시킨다.
• Java, Scala, Python, R에서 고수준 API를 제공하며, 다단계 머신러닝 워크플로우를 구축하고 튜닝하기 위한 통합된 파이프라인 인터페이스(spark.ml)를 제공한다.
• 효율적인 선형 대수 및 최적화 기초 기능을 사용하여 ALS, 로지스틱 회귀, 결정 트리, k-means와 같은 핵심 알고리즘의 최적화된 구현을 포함한다.
• Spark 생태계와 통합되어 있으며, 데이터 전처리를 위한 Spark SQL, 그래프 기반 학습을 위한 GraphX, 온라인 학습을 위한 Spark Streaming을 포함한다.
• 각 노드에서 네이티브 C++ 기반 선형 대수 라이브러리(예: BLAS)를 사용하여 수치 계산을 가속화한다.
• 성능 향상은 Spark의 통신 프rotocol 및 스케줄러에서의 알고리즘적 향상과 저수준 최적화에 의해 주로 이뤄진다.

실험 결과

연구 질문

• RQ1 일반 목적의 데이터 처리 엔진인 Apache Spark에 분산 머신러닝 라이브러리를 효율적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 Mahout과 같은 기존 시스템에 비해 MLlib는 어떤 성능 및 확장성 우수성을 제공하는가?
• RQ3 Spark의 반복 계산 모델이 대규모 머신러닝 알고리즘의 효율성에 얼마나 기여하는가?
• RQ4 오픈소스 공동체는 프로덕션 수준의 머신러닝 라이브러리의 성장과 확장성에 어떻게 기여하는가?
• RQ5 MLlib의 고성능과 다중 프로그래밍 언어 지원을 가능하게 하는 주요 아키텍처 및 구현 선택 사항은 무엇인가?

주요 결과

• MLlib는 ALS 알고리즘에서 뛰어난 확장성을 입증했으며, Spark의 낮은 스케줄링 오버헤드와 반복 계산에 대한 더 나은 지원 덕분에 Hadoop MapReduce 기반의 Mahout을 능가했다.
• 16개 노드로 구성된 EC2 클러스터에서, MLlib는 버전 1.0에서 1.1로 갱신되면서 모든 알고리즘에서 평균 3배의 성능 향상을 달성했으며, 이는 알고리즘적 최적화와 시스템 수준 최적화의 조합에 기인했다.
• 라이브러리는 더 큰 데이터셋으로도 효과적으로 확장되었으며, 아마존 리뷰 데이터셋에서 사용자 레코드의 복제를 통해 데이터 크기가 증가하더라도 성능이 안정적이고 효율적으로 유지되었다.
• Spark 생태계, 특히 spark.ml과의 통합 덕분에 복잡한 다단계 머신러닝 파이프라인 개발이 크게 단순화되었다.
• 오픈소스 공동체에서 50개 이상의 조직에서 140명 이상의 개발자가 기여하여 기능 개발과 생태계 성장을 가속화했다.
• MLlib의 네이티브 선형 대수 라이브러리 사용과 다중 프로그래밍 언어 API 덕분에 데이터 과학 워크플로우 전반에서 고성능과 넓은 접근성을 확보했다.