[논문 리뷰] Asynchronous Complex Analytics in a Distributed Dataflow Architecture

Joseph E. Gonzalez, Peter Bailis외 5명|arXiv (Cornell University)|2015. 10. 24.

Graph Theory and Algorithms참고 문헌 77인용 수 10

한 줄 요약

이 논문은 Apache Spark와 같은 일반적인 데이터플로우 시스템에서 이차적 최적화 알고리즘인 확률적 경사 하강법(SGD)과 ADMM를 비동기적으로 실행할 수 있도록 하는 새로운 반복자 기반 추상화인 비동기 수평 정보 전달(ASIP)을 소개한다. ASIP 반복자를 통한 정교한 공유 상태 통신을 통해 병렬 연산자 간에 비동기 처리를 가능하게 함으로써, 동기적 대안 대비 높은 성능 향상을 달성하면서도, 오래된 값과 데이터 경쟁에 대한 강건성 덕분에 통계적 정확성을 유지한다.

ABSTRACT

Scalable distributed dataflow systems have recently experienced widespread adoption, with commodity dataflow engines such as Hadoop and Spark, and even commodity SQL engines routinely supporting increasingly sophisticated analytics tasks (e.g., support vector machines, logistic regression, collaborative filtering). However, these systems' synchronous (often Bulk Synchronous Parallel) dataflow execution model is at odds with an increasingly important trend in the machine learning community: the use of asynchrony via shared, mutable state (i.e., data races) in convex programming tasks, which has---in a single-node context---delivered noteworthy empirical performance gains and inspired new research into asynchronous algorithms. In this work, we attempt to bridge this gap by evaluating the use of lightweight, asynchronous state transfer within a commodity dataflow engine. Specifically, we investigate the use of asynchronous sideways information passing (ASIP) that presents single-stage parallel iterators with a Volcano-like intra-operator iterator that can be used for asynchronous information passing. We port two synchronous convex programming algorithms, stochastic gradient descent and the alternating direction method of multipliers (ADMM), to use ASIPs. We evaluate an implementation of ASIPs within on Apache Spark that exhibits considerable speedups as well as a rich set of performance trade-offs in the use of these asynchronous algorithms.

연구 동기 및 목표

• 광범위하게 사용되는 동기적 데이터플로우 시스템(예: Spark)과 비동기 기계학습 알고리즘의 성능 이점 사이의 격차를 메우기 위해.
• 특수한 런타임 환경이 필요 없이도 분산 데이터플로우 환경에서 비동기 알고리즘이 효율적이고 효과적으로 구현될 수 있는지 조사하기 위해.
• 데이터 병렬 연산자 간 정교한 비동기 통신을 가능하게 하는 경량이며 조합 가능한 추상화(ASIP)를 설계하고 평가하기 위해.
• 비동기 볼록 최적화(SGD 및 ADMM)가 실질적인 성능 향상을 가져다주는 바탕으로, 일반적인 데이터플로우 엔진으로 효율적으로 이식될 수 있음을 입증하기 위해.

제안 방법

• 비동기 처리를 위한 공유 가능하고 가변적인 상태 접근을 제공하는 새로운 데이터플로우 연산자 추상화인 ASIP을 제안하며, 이는 동시 실행되는 연산자 인스턴스 간 정교한 통신을 위한 풀 기반 반복자 인터페이스를 제공한다.
• ASIP 반복자를 설계하여 분포 및 라우팅을 추상화함으로써, 파artition 간 비동기 모델 업데이트를 가능하게 하면서도 Spark의 내장 실행 엔진을 활용해 대량 처리를 수행한다.
• SGD와 ADMM라는 두 가지 고전적인 볼록 최적화 알고리즘을 ASIP 반복자를 사용하여 비동기 모델 동기화를 수행하도록 변환함으로써, 동기적 장벽 동기화를 대체한다.
• ASIP 반복자를 통해 전달되는 델타 인코딩된 모델 업데이트를 활용하여 통신 오버헤드를 최소화하고 효율적이고 확장 가능한 수렴을 가능하게 한다.
• Spark의 기존 장애 복구 및 스케줄링 메커니즘을 활용하며, ASIP 전용 체크포인팅 및 복구 전략을 위한 확장 기능을 구현한다.
• 볼록 최적화의 통계적 강건성을 활용하여 데이터 경쟁과 오래된 기울기 값을 수용함으로써, 비동기성에도 불구하고 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 Spark와 같은 일반적인 데이터플로우 시스템이 별도의 실행 프레임워크 없이도 비동기 복잡 분석을 네이티브로 지원할 수 있는가?
• RQ2 비동기 알고리즘(SGD 및 ADMM)이 동기적 대안 대비 분산 데이터플로우 환경에서 성능 및 정확성 측면에서 어떤 성과를 내는가?
• RQ3 ASIP 추상화는 데이터플로우 파이프라인 내 병렬 연산자 간에 효율적인 정교한 통신을 어떻게 가능하게 하는가? 동시에 장애 복구는 어떻게 유지하는가?
• RQ4 볼록 최적화의 통계적 강건성이 분산 환경에서 비동기성과 데이터 경쟁을 어느 정도 수용할 수 있는가?

주요 결과

• 대규모 분산 워크로드에서 ASIP 기반 SGD와 ADMM는 동기적 Spark MLlib 대비 최대 2.5배의 성능 향상을 달성한다.
• 볼록 최적화의 본질적 강건성 덕분에 오래된 기울기와 데이터 경쟁을 수용할 수 있어, 비동기 알고리즘이 통계적 정확성과 수렴 보장을 유지한다.
• 네트워크 지연이 단일 노드 시스템에서 관찰된 이점을 상쇄할 것이라는 기대와는 달리, 분산 환경에서도 비동기 처리의 성능 이점이 유지된다.
• ASIP 추상화를 통해 모델 동기화가 매우 효율적으로 이루어지며, 통신 오버헤드가 최소화된다. 이는 모델 업데이트가 델타 인코딩되어 비동기적으로 전파되기 때문이다.
• 연산자 상태와 입력 큐의 체크포인팅을 통해 장애 복구를 달성하였으며, 수용 가능한 오버헤드로 결정적 재실행이 가능하다.
• 복잡한 비동기 분석이 저수준 시스템 확장 기능이나 별도의 실행 백엔드 없이도 일반적인 데이터플로우 엔진 내에서 실제로 가능함을 입증하였다.