[논문 리뷰] MLI: An API for Distributed Machine Learning

Evan Sparks, Ameet Talwalkar외 7명|arXiv (Cornell University)|2013. 10. 21.

Graph Theory and Algorithms참고 문헌 10인용 수 33

한 줄 요약

MLI는 분산 기계 학습을 위한 고수준 API로, 데이터 로딩 및 로컬 선형 대수 연산에 대한 직관적인 추상화를 제공함으로써 확장성 있고 고성능 알고리즘의 구현을 단순화합니다. Apache Spark 기반으로 구축된 MLI는 MATLAB/R에 비슷한 간결하고 가독성 있는 코드를 작성할 수 있게 하며, GraphLab 및 Vowpal Wabbit와 같은 전용 저수준 시스템의 성능에 작은 상수 요인 내에서 근접합니다. 이는 Mahout를 크게 앞서며 더 큰 데이터셋을 처리할 수 있습니다.

ABSTRACT

MLI is an Application Programming Interface designed to address the challenges of building Machine Learn- ing algorithms in a distributed setting based on data-centric computing. Its primary goal is to simplify the development of high-performance, scalable, distributed algorithms. Our initial results show that, relative to existing systems, this interface can be used to build distributed implementations of a wide variety of common Machine Learning algorithms with minimal complexity and highly competitive performance and scalability.

연구 동기 및 목표

• MATLAB/R에서의 빠른 프로토타이핑과 확장 가능한 산업 수준의 분산 기계 학습 구현 간 격차를 메우기 위해.
• 기존 분산 기계 학습 시스템에서의 사용성과 성능 간 상충 관계를 해결하기 위해, 너무 낮은 수준인(예: MapReduce) 또는 너무 복잡하여 구현이 어려운(예: 복잡한 최적화 기능을 갖춘 고수준 컴파일러) 시스템을 피하기 위해.
• 개발자가 분산 시스템에 대한 고급 지식 없이도 효율적인 통신 및 병렬 처리 패턴을 지원하는 사용자 友好的한 API를 제공하기 위해.
• ML 연구자들이 최소한의 코드 복잡도로도 고성능을 유지하면서 강력한 수평 확장성을 확보할 수 있도록 하기 위해.

제안 방법

• MLI는 데이터 로딩 및 변환을 위한 MLTable과 로컬 선형 대수 연산을 위한 LocalMatrix라는 두 가지 핵심 추상화를 도입합니다.
• API는 Apache Spark 기반으로 구현되어 있으며, 반복적 인-memory 계산을 지원함으로써 기계 학습 워크로드에 최적화된 성능을 확보합니다.
• MLI는 개발자가 MATLAB 또는 R의 의사코드에 가까운 고수준이고 가독성 있는 코드를 작성할 수 있도록 하여, 저수준의 분산 시스템 세부 정보를 추상화합니다.
• 시스템은 SBT를 사용해 종속성 관리를 하며, 환경 변수 설정과 단일 명령어로 클러스터를 시작할 수 있도록 지원하여 간편한 배포를 가능하게 합니다.
• 개발자가 통신 및 병렬 처리 패턴을 명시적으로 제어할 수 있도록 하여, 복잡한 정적 분석이나 컴파일 파이프라인을 피합니다.
• 구현은 모듈식 확장을 지원하며, 새로운 알고리즘을 최소한의 부록 코드로 새로운 Scala 클래스로 추가할 수 있습니다.

실험 결과

연구 질문

• RQ1 분산 기계 학습을 위한 고수준 API가 MATLAB/R 수준의 사용성과 동시에 저수준 시스템 수준의 성능을 달성할 수 있는가?
• RQ2 MLI API는 Mahout, GraphLab, Vowpal Wabbit와 같은 기존 시스템과 비교해 코드의 간결성과 실행 효율성 측면에서 어떻게 다를까?
• RQ3 MLI는 클러스터 크기에 따라 어느 정도 확장 가능하며, 메모리 병목 현상 없이 성능를 유지할 수 있는가?
• RQ4 MLI 기반 구현은 대규모 데이터셋인 16x 및 25x Netflix 데이터셋을 처리할 때 MATLAB 및 MATLAB-Mex와 비교해 어떻게 다를까?
• RQ5 GraphLab 및 Mahout와 같은 시스템 대비 MLI의 설정 및 배포에 따른 실질적 오버헤드는 어느 정도인가?

주요 결과

• 로지스틱 회귀 및 행렬 분해 작업에서 MLI는 클러스터 크기에 관계없이 Mahout보다 총 실행 시간과 확장 효율성 측면에서 뛰어난 성능을 보였다.
• MLI는 GraphLab 및 Vowpal Wabbit와 같은 전용 시스템의 확장 행동을 그대로 따르며, GraphLab 성능에 작은 상수 요인(4배 이내) 내에서 근접했다.
• MATLAB 및 MATLAB-Mex는 16x 및 25x Netflix 데이터셋에서 메모리 부족으로 작업을 완료하지 못했지만, MLI는 이러한 워크로드를 성공적으로 처리했다.
• MLI의 구현은 동등한 MATLAB 코드와 비슷한 길이를 유지하여 높은 코드 간결성과 가독성을 입증했다.
• MLI의 설정 및 구성은 GraphLab보다 훨씬 단순했으며, GraphLab는 수동 MPI 설정, 종속성 컴파일, 파일 기반 데이터 파artitioning이 필요했다.
• 강한 확장성 실험에서 MLI는 성능와 확장성을 유지했으며, MATLAB 및 Mahout를 뛰어넘었고, 9x Netflix 데이터셋에서 GraphLab에 비해 4배 이내의 성능를 유지했다.