[논문 리뷰] Probabilistic Synchronous Parallel

Liang Wang, Ben Catterall외 1명|arXiv (Cornell University)|2017. 09. 22.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 분산 기계 학습을 위한 새로운 장벽 제어 기법인 확률적 동시성 병렬(Probabilistic Synchronous Parallel, PSP)을 제안한다. 이 기법은 샘플링 원리를 사용하여 노드의 진행 상황을 확률적으로 추정함으로써 BSP, SSP, ASP보다 빠른 수렴 속도와 향상된 확장성을 제공한다. PSP는 모델 일관성과 장벽 제어를 분리하여, 완전히 분산된 배포를 지원하고, 최소한의 통신 오버헤드로 더 강력한 수렴 보장을 제공한다.

ABSTRACT

Most machine learning and deep neural network algorithms rely on certain iterative algorithms to optimise their utility/cost functions, e.g. Stochastic Gradient Descent. In distributed learning, the networked nodes have to work collaboratively to update the model parameters, and the way how they proceed is referred to as synchronous parallel design (or barrier control). Synchronous parallel protocol is the building block of any distributed learning framework, and its design has direct impact on the performance and scalability of the system. In this paper, we propose a new barrier control technique - Probabilistic Synchronous Parallel (PSP). Com- paring to the previous Bulk Synchronous Parallel (BSP), Stale Synchronous Parallel (SSP), and (Asynchronous Parallel) ASP, the proposed solution e ectively improves both the convergence speed and the scalability of the SGD algorithm by introducing a sampling primitive into the system. Moreover, we also show that the sampling primitive can be applied atop of the existing barrier control mechanisms to derive fully distributed PSP-based synchronous parallel. We not only provide a thorough theoretical analysis1 on the convergence of PSP-based SGD algorithm, but also implement a full-featured distributed learning framework called Actor and perform intensive evaluation atop of it.

연구 동기 및 목표

• 대규모, 동적, 신뢰성 없는 분산 시스템에서 기존 장벽 제어 방법(BSP, SSP, ASP)의 한계를 해결하기 위해.
• 모델 일관성과 장벽 제어를 분리함으로써 분산 학습의 통신 및 조정 오버헤드를 줄이기 위해.
• 네트워크 이질성과 노드의 지속적인 변화를 고려한 확장 가능하고 완전히 분산된 동기화 메커니즘을 설계하기 위해.
• 확률적이고 효율적이며 조합 가능한 장벽 제어를 가능하게 하는 새로운 시스템 원리인 샘플링을 도입하고 평가하기 위해.
• PSP 기반 SGD의 이론적 수렴 경계를 도출하여, ASP 및 SSP보다 더 날카롭고 내구성이 뛰어난 수렴 보장을 제공하기 위해.

제안 방법

• 계산 단계를 완료한 노드 비율을 추정하는 샘플링 원리를 도입하여, 확률적 장벽 트리거링을 가능하게 한다.
• 지연 분포 내 r 단계 이내에서 작동하는 지연 파라미터 $ r $와 샘플링 수 $ \beta $를 사용하여, 확률적 수렴 경계를 정의한다.
• 샘플링된 진행 상황을 활용해 장벽 제어를 모델 파라미터 업데이트에서 분리함으로써, 전역 조율에 대한 의존도를 감소시킨다.
• BSP 및 SSP와 같은 기존 프로토콜과 샘플링 원리를 조합하여, 완전히 분산된 고차원 동기화 메커니즘을 구성한다.
• 파라미터 업데이트의 기대 평균과 분산에 대한 이론적 경계를 유도하며, 이 경계가 오직 지연 분포의 초기 부분(내 $ r $ 단계 이내)에만 의존함을 보여준다.
• 구현 및 평가를 위해 분산 액터 기반 시스템을 활용하여, 이질적인 환경에서 PSP의 실제 적용 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 확률적 샘플링 기반 장벽 제어 메커니즘이 결정론적 또는 완전히 비동기적 방법에 비해 분산 SGD에서 수렴 속도와 확장성 향상에 기여하는가?
• RQ2 중요한 꼬리 분포 또는 시간에 따라 변화하는 지연 분포가 존재할 경우, 샘플링 원리가 ASP 및 SSP와 비교해 수렴 보장에 어떤 영향을 미치는가?
• RQ3 BSP 및 SSP와 같은 기존 장벽 제어 메커니즘과 샘플링 원리를 얼마나 잘 조합하여 완전히 분산되고 확장 가능한 동기화를 가능하게 할 수 있는가?
• RQ4 샘플링 수 $ \beta $와 지연 파라미터 $ r $가 수렴 경계의 날카움과 시스템 성능에 어떤 영향을 미치는가?
• RQ5 PSP는 대규모, 동적, 신뢰성 없는 분산 시스템에서 통신 및 조정 오버헤드를 줄이면서도 강력한 수렴 보장을 유지할 수 있는가?

주요 결과

• PSP는 전체 지연 분포가 아닌 첫 $ r $ 단계 이내의 확률 질량에만 의존하므로, ASP보다 더 날카운 수렴 경계를 달성한다.
• 샘플링 수 $ \beta $를 1에서 100으로 증가시키면 수렴 경계가 크게 날카워지며, 작은 $ \beta $ 이후에는 수익 감소 현상이 나타나 최소한의 샘플링으로도 높은 효율성을 확보한다.
• PSP는 꼬리가 두꺼운 또는 시간에 따라 변화하는 지연 분포에 대해 강건하여, 시스템 동역학이 변동하더라도 안정적인 수렴 성능을 유지한다.
• PSP는 평균 지연에 의존하지 않기 때문에, 시간이 지남에 따라 성능이 악화되는 것을 방지하며, ASP보다 수렴 안정성이 뛰어나다.
• PSP는 전역 시스템 상태 지식이 필요 없이 완전히 분산된 장벽 제어 메커니즘을 제공하며, SSP와 달리 수평적 확장성이 뛰어나다.
• 실제 액터 기반 시스템에서의 평가 결과, 다양한 네트워크 조건에서 기존 방법보다 더 빠른 수렴 속도와 향상된 확장성을 확보하였다.