[논문 리뷰] Petuum: A New Platform for Distributed Machine Learning on Big Data

Eric P. Xing, Qirong Ho외 8명|arXiv (Cornell University)|2013. 12. 30.

Graph Theory and Algorithms참고 문헌 26인용 수 9

한 줄 요약

Petuum은 반복수렴 최적화, 오차 한계가 있는 동기화, 동적 스케줄링을 활용하여 대규모 머신러닝 워크로드를 효율적이고 확장 가능하게 실행할 수 있는 분산 머신러닝 플랫폼이다. Spark, GraphLab, YahooLDA보다 2–10배 빠른 성능을 기록하며, 보통의 클러스터에서 최대 1000억 파라미터의 모델을 지원하여 빅데이터 및 빅모델 분야에서 뛰어난 성능과 확장성을 입증한다.

ABSTRACT

What is a systematic way to efficiently apply a wide spectrum of advanced ML programs to industrial scale problems, using Big Models (up to 100s of billions of parameters) on Big Data (up to terabytes or petabytes)? Modern parallelization strategies employ fine-grained operations and scheduling beyond the classic bulk-synchronous processing paradigm popularized by MapReduce, or even specialized graph-based execution that relies on graph representations of ML programs. The variety of approaches tends to pull systems and algorithms design in different directions, and it remains difficult to find a universal platform applicable to a wide range of ML programs at scale. We propose a general-purpose framework that systematically addresses data- and model-parallel challenges in large-scale ML, by observing that many ML programs are fundamentally optimization-centric and admit error-tolerant, iterative-convergent algorithmic solutions. This presents unique opportunities for an integrative system design, such as bounded-error network synchronization and dynamic scheduling based on ML program structure. We demonstrate the efficacy of these system designs versus well-known implementations of modern ML algorithms, allowing ML programs to run in much less time and at considerably larger model sizes, even on modestly-sized compute clusters.

연구 동기 및 목표

• 학술적 머신러닝 구현과 대규모 클러스터에서의 산업적 구현 간의 확장성 격차를 해소하기 위해.
• Hadoop, Spark, GraphLab와 같은 기존 플랫폼이 대규모 모델과 세밀한 동기화를 처리하는 데 한계를 보이는 문제를 극복하기 위해.
• 다양한 머신러닝 알고리즘을 지원하는 단일 프레임워크에서 데이터 병렬성과 모델 병렬성을 통합하기 위해.
• 보편적인 클러스터 크기에서 고급 머신러닝 알고리즘의 효율적이고 정확하며 프로그래머블한 실행을 가능하게 하기 위해.
• 머신러닝 알고리즘의 구조에 기반한 체계적인 시스템 설계가 성능과 확장성에 상당한 영향을 미칠 수 있음을 입증하기 위해.

제안 방법

• 머신러닝 알고리즘의 반복수렴 성질을 시스템 설계의 기반으로 활용하여 오차에 내성이 있고 수렴 가능한 계산을 가능하게 한다.
• 정확성을 보장하면서도 성능을 위해 비동기성을 允용하는 오차 한계가 있는 네트워크 동기화 메커니즘을 도입한다.
• 데이터 및 모델 의존성을 활용하여 계산 및 통신 스케줄링을 최적화하는 동적 스케줄러를 구현한다.
• 모델 병렬성을 위해 최소한의 스토리지 오버헤드를 갖춘 경량 파라미터 서버 아키텍처를 사용한다.
• 의존성 인식 스케줄링을 적용하여 LDA 및 행렬 분해와 같은 알고리즘의 정확하고 효율적인 모델 병렬 실행을 가능하게 한다.
• 통합 추상화를 통해 데이터 병렬 및 모델 병렬 실행 패턴을 모두 지원하여 다양한 머신러닝 프로그램 간의 이식성을 확보한다.

실험 결과

연구 질문

• RQ1 일반 목적의 분산 머신러닝 플랫폼이 높은 효율성과 정확성으로 빅데이터 및 빅모델을 효과적으로 처리할 수 있는가?
• RQ2 오차 한계가 있는 동기화와 동적 스케줄링이 수렴 보장을 훼손하지 않으면서도 분산 머신러닝의 성능을 어떻게 향상시킬 수 있는가?
• RQ3 단일 프레임워크가 다양한 하드웨어 구성에서 LDA, 행렬 분해, 딥러닝을 포함한 다양한 머신러닝 알고리즘을 얼마나 넓게 지원할 수 있는가?
• RQ4 Petuum이 Caffe 및 DML과 같은 단일 머신 알고리즘의 클러스터 구현에서 근사 선형 스케일업 성능을 달성할 수 있는가?
• RQ5 Petuum의 모델 병렬성 및 파라미터 서버 설계는 제한된 하드웨어에서 1000억 개 이상의 파라미터를 가진 모델을 어떻게 확장 가능하게 하는가?

주요 결과

• Petuum은 행렬 분해 및 LDA 워크로드에서 Spark와 GraphLab보다 2–6배 빠르며, LDA 워크로드에서 YahooLDA보다 최대 6배 빠르며, 뛰어난 스케줄링 덕분이다.
• Petuum은 주어진 하드웨어에서 행렬 분해를 랭크 K ≥ 1000까지 성공적으로 확장할 수 있는 유일한 플랫폼이며, Spark 및 GraphLab를 모두 능가한다.
• Petuum의 Caffe CNN 구현은 4台에서 3.1배 빠른 성능을 기록하여 최소한의 코드 변경으로 근사 선형 확장성을 보였다.
• Petuum의 DML 구현은 4대에서 단일 머신 Xing2002 구현보다 3.8배 더 빠르게 수렴하여 데이터 병렬 SGD의 뛰어난 성능을 입증했다.
• Petuum LDA는 더 빠르게 수렴하며, YahooLDA의 데이터 병렬 전용 구현보다 10배 이상 큰 LDA 모델을 지원하여 장꼬리 주제 포착이 가능하다.
• Petuum의 모델 병렬성 및 경량 파라미터 서버는 메모리 오버헤드를 감소시켜 고정된 클러스터 메모리 예산 내에서 더 큰 모델을 훈련할 수 있도록 한다.