[논문 리뷰] High-Performance Distributed ML at Scale through Parameter Server Consistency Models

Wei Dai, Abhimanu Kumar외 4명|arXiv (Cornell University)|2014. 10. 29.

Cloud Computing and Resource Management참고 문헌 19인용 수 72

한 줄 요약

이 논문은 분산 기계 학습에서 지연을 줄이기 위해 프로액티브하게 업데이트를 전송하는 Eager Stale Synchronous Parallel (ESSP)를 제안한다. 이는 수렴 속도와 시스템 스루풋을 향상시킨다. ESSP는 이상적인 Value-Bounded Asynchronous Parallel (VAP) 모델과 유사한 이론적 보장을 제공하면서도 실용적으로 구현 가능하며, LDA 및 행렬 분해 워크로드에서 이전의 모델들인 Stale Synchronous Parallel (SSP)보다 수렴 속도와 초당 성능 모두에서 뛰어나다.

ABSTRACT

As Machine Learning (ML) applications increase in data size and model complexity, practitioners turn to distributed clusters to satisfy the increased computational and memory demands. Unfortunately, effective use of clusters for ML requires considerable expertise in writing distributed code, while highly-abstracted frameworks like Hadoop have not, in practice, approached the performance seen in specialized ML implementations. The recent Parameter Server (PS) paradigm is a middle ground between these extremes, allowing easy conversion of single-machine parallel ML applications into distributed ones, while maintaining high throughput through relaxed "consistency models" that allow inconsistent parameter reads. However, due to insufficient theoretical study, it is not clear which of these consistency models can really ensure correct ML algorithm output; at the same time, there remain many theoretically-motivated but undiscovered opportunities to maximize computational throughput. Motivated by this challenge, we study both the theoretical guarantees and empirical behavior of iterative-convergent ML algorithms in existing PS consistency models. We then use the gleaned insights to improve a consistency model using an "eager" PS communication mechanism, and implement it as a new PS system that enables ML algorithms to reach their solution more quickly.

연구 동기 및 목표

• 이완된 일관성 모델이 분산 기계 학습에서 수렴성과 안정성에 미치는 영향에 대한 이론적 이해 부족을 해결하기 위해.
• 파라미터 서버 아키텍처에서 스루풋을 향상시키고 지연을 줄이기 위한 시스템 수준의 기회를 규명하기 위해.
• 이deal 모델인 VAP의 이론적 이점을 실현할 수 있는 실용적인 일관성 모델을 설계하기 위해.
• ESSP 기반의 새로운 시스템을 구현하고 평가하여 기존 파라미터 서버 모델보다 수렴 속도와 효율성에서 뛰어난 성능을 내기 위해.
• 이론적 일관성 모델과 실제 분산 기계 학습 성능 사이의 격차를 이론적 분석과 실험적 검증을 통해 메우기 위해.

제안 방법

• 지연된 동기화를 개선한 Stale Synchronous Parallel (SSP)의 변종인 Eager Stale Synchronous Parallel (ESSP)를 제안한다. 이는 업데이트가 필요하기 전에 프로액티브하게 파라미터 업데이트를 전송함으로써 지연을 줄인다.
• 이완된 일관성 하에서 해의 안정성과 수렴 행동을 특성화하기 위해 ESSP와 VAP에 대한 새로운 분산 한계를 개발한다.
• 이론적 분석을 통해 ESSP가 실용적으로 더 쉽게 구현되더라도 이상적인 VAP 모델과 동일한 수렴 보장을 달성함을 보여준다.
• 파라미터 서버 시스템에 ESSP를 구현하고, LDA 및 행렬 분해와 같은 표준 기계 학습 워크로드에서 평가한다.
• 고객 스레드의 차단를 줄이고 스루풋을 향상시키기 위해 ESSP에서 파ipelined 통신 전략을 사용한다.
• ESSP를 실험적으로 SSP 및 VAP와 비교하여, 다양한 지연 설정 하에서 수렴 속도(단위 시간당 반복 수)와 초당 성능을 측정한다.

실험 결과

연구 질문

• RQ1 지연된 파라미터 읽기의 분포가 반복 수렴 기계 학습 알고리즘의 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ2 엄격한 동기화가 필요 없이 이상적인 VAP 모델의 이론적 수렴 보장을 달성할 수 있는 실용적인 일관성 모델이 존재하는가?
• RQ3 파라미터 서버 아키텍처에서 지연을 줄이고 스루풋을 향상시키기 위해 적용할 수 있는 시스템 수준 최적화는 무엇인가?
• RQ4 ESSP는 수렴 속도(단위 반복당 및 초당) 측면에서 SSP 및 VAP와 어떻게 비교되는가?
• RQ5 프로액티브 통신을 통해 지연을 줄임으로써 전체 기계 학습 훈련 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• ESSP는 평균 지연을 SSP보다 줄여 단위 반복당 수렴 속도를 빠르게 하며, 이는 이론적 분산 한계와 일치한다.
• ESSP는 단위 반복당 성능 향상보다 초당 성능 향상이 더 크며, 이는 차단 감소와 더 나은 파이프라인화로 인한 시스템 수준의 스루풋 향상 때문임을 시사한다.
• 이론적 분산 한계는 ESSP가 이상적인 VAP 모델과 동일한 해의 안정성 보장을 제공함을 보여주며, 이는 실용적으로 더 쉽게 구현됨에도 불구하고 성립한다.
• 실험 결과 ESSP는 LDA 및 행렬 분해 워크로드에서 단위 반복당 및 초당 수렴 속도 모두에서 SSP를 능가한다.
• ESSP의 개선으로 인해 지연 파라미터 수동 조정이 줄어들며, 이는 SSP의 핵심적인 제약 요소이다.
• ESSP의 프로액티브 통신 메커니즘은 클라이언트 스레드가 업데이트를 기다리는 확률을 줄여 전체 시스템 효율성을 향상시킨다.