[논문 리뷰] ASAP: Asynchronous Approximate Data-Parallel Computation

Asim Kadav, Erik Kruus|arXiv (Cornell University)|2016. 12. 27.

Parallel Computing and Optimization Techniques참고 문헌 46인용 수 4

한 줄 요약

ASAP는 분산 기계 학습에서 동기화 및 통신 오버헤드를 줄이기 위해 확률적 감소와 NOTIFY-ACK 의미 체계를 사용하는 이국적 비정확한 데이터-병렬 계산 모델을 도입한다. 이는 동기화된 all-reduce와 동일한 결과로 수렴하는 것을 보장하면서도 수렴 속도를 2–10배 빠르게 하고 네트워크 비용을 최대 10배까지 낮춘다.

ABSTRACT

Emerging workloads, such as graph processing and machine learning are approximate because of the scale of data involved and the stochastic nature of the underlying algorithms. These algorithms are often distributed over multiple machines using bulk-synchronous processing (BSP) or other synchronous processing paradigms such as map-reduce. However, data parallel processing primitives such as repeated barrier and reduce operations introduce high synchronization overheads. Hence, many existing data-processing platforms use asynchrony and staleness to improve data-parallel job performance. Often, these systems simply change the synchronous communication to asynchronous between the worker nodes in the cluster. This improves the throughput of data processing but results in poor accuracy of the final output since different workers may progress at different speeds and process inconsistent intermediate outputs. In this paper, we present ASAP, a model that provides asynchronous and approximate processing semantics for data-parallel computation. ASAP provides fine-grained worker synchronization using NOTIFY-ACK semantics that allows independent workers to run asynchronously. ASAP also provides stochastic reduce that provides approximate but guaranteed convergence to the same result as an aggregated all-reduce. In our results, we show that ASAP can reduce synchronization costs and provides 2-10X speedups in convergence and up to 10X savings in network costs for distributed machine learning applications and provides strong convergence guarantees.

연구 동기 및 목표

• 데이터-병렬 기계 학습 및 그래프 처리 워크로드에서 높은 동기화 및 통신 비용을 해결하기 위해.
• 수렴 보장을 유지하면서도 비동기적, 비정확한 계산을 가능하게 하기 위해.
• 엄격한 동기화를 완화시켜 반복적이고 수렴하는 알고리즘에서 네트워크 및 CPU 오버헤드를 줄이기 위해.
• 개발자에게 수렴 보장을 수학적으로 보장하고 성능과 정확도 사이의 조정 가능한 트레이드오프를 제공하기 위해.

제안 방법

• 희박한 확장 그래프를 통해 선택된 워커의 일부를 사용하여 집계를 수행하는 희박한 감소 원시 연산인 확률적 감소를 도입한다.
• 거시적 장벽을 대체하기 위해 세밀한 수준의 비동기 워커 조율을 위한 NOTIFY-ACK 의미 체계를 활용한다.
• 공정한 영향력과 수렴을 보장하기 위해 희박한 확장 그래프에서 유도된 이중 확률적 통신 행렬 P를 사용한다.
• 행렬의 거듭제곱을 통해 네트워크를 통해 전파되는 가중치 합으로 갱신 과정을 모델링한다: w_t = -∑_{k=0}^{t-1} η_k P^{t-k} g_k.
• 통신 토폴로지의 수렴 속도를 정량화하고 최적화하기 위해 스펙트럼 간격(1 - σ₂(P))을 활용한다.
• 빠른 정보 확산과 신속한 수렴을 보장하기 위해 큰 스펙트럼 간격을 가진 통신 그래프를 구성한다.

실험 결과

연구 질문

• RQ1 비동기적, 비정확한 데이터-병렬 계산이 정확성을 유지하면서도 동기화 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 최종 모델 정확도를 떨어뜨리지 않고 분산 기계 학습에서 통신 및 동기화 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 어떤 네트워크 토폴로지 특성(예: 스펙트럼 간격)이 비정확한 감소 연산에서 수렴을 보장하는가?
• RQ4 희박한 확장 그래프를 사용한 확률적 감소가 all-reduce와 비교해 수렴 보장을 유지할 수 있는가?
• RQ5 NOTIFY-ACK 조율 방식은 전통적인 장벽 기반 동기화 방식보다 성능을 어떻게 향상시키는가?

주요 결과

• ASAP은 전역 장벽을 세밀한 수준의 NOTIFY-ACK 조율로 대체함으로써 동기화 비용을 줄이고 워커 간 독립성을 향상시킨다.
• 희박한 확장 그래프를 사용한 확률적 감소로 네트워크 통신 비용을 최대 10배까지 줄일 수 있다.
• 분산 기계 학습 워크로드에서 동기화된 all-reduce 대비 수렴 시간을 2–10배 빠르게 달성한다.
• 통신 그래프가 이중 확률적이며 큰 스펙트럼 간격을 가진 한에서, 수렴이 all-reduce와 동일한 결과로 보장된다.
• 스토케스틱 감소 연산자의 수학적 성질 덕분에, 비동기성과 오래된 정보에도 불구하고 ASAP를 사용하는 시스템은 강한 일致성과 정확도를 유지한다.
• 통신 행렬 P의 스펙트럼 간격(1 - σ₂(P))은 수렴 속도의 핵심 결정 요소이며, 더 큰 간격은 더 빠른 수렴을 가능하게 한다.