[논문 리뷰] Graph Partitioning via Parallel Submodular Approximation to Accelerate Distributed Machine Learning

Mu Li, Dave G. Andersen외 1명|arXiv (Cornell University)|2015. 05. 18.

Graph Theory and Algorithms참고 문헌 34인용 수 9

한 줄 요약

이 논문은 그래프 분할 문제로 데이터 및 파라미터 배치를 모델링하고 효율적인 순열 함수 최적화를 사용함으로써 상호 기계 간 통신을 최소화함으로써 분산 기계 학습을 가속화하는 병렬 순열 함수 근사 알고리즘 Parsa를 제안한다. CTRb와 같은 대규모 데이터셋(100억 개의 비제로 요소 포함)에서 훈련 시 90%의 네트워크 트래픽 감소와 1.6배의 속도 향상을 달성한다.

ABSTRACT

Distributed computing excels at processing large scale data, but the communication cost for synchronizing the shared parameters may slow down the overall performance. Fortunately, the interactions between parameter and data in many problems are sparse, which admits efficient partition in order to reduce the communication overhead. In this paper, we formulate data placement as a graph partitioning problem. We propose a distributed partitioning algorithm. We give both theoretical guarantees and a highly efficient implementation. We also provide a highly efficient implementation of the algorithm and demonstrate its promising results on both text datasets and social networks. We show that the proposed algorithm leads to 1.6x speedup of a state-of-the-start distributed machine learning system by eliminating 90\% of the network communication.

연구 동기 및 목표

• 기계 간 공유 파라미터의 빈번한 동기화로 인해 발생하는 분산 기계 학습의 통신 병목 현상을 해결하기 위해.
• 그래프 분할을 통해 데이터 및 파라미터 배치를 최적화하여 대규모 학습 시스템에서 기계 간 통신 오버헤드를 줄이기 위해.
• 기존 방법들인 METIS와 PaToH보다 뛰어난 성능을 보이는 확장성 있고 효율적이며 이론적으로 타당한 분할 알고리즘을 설계하기 위해.
• 기계 간 데이터 이동을 최소화하여 분산 추론의 수렴 속도 향상과 지연 감소를 실현하기 위해.
• 수십억 개의 비제로 요소를 포함하는 실세계의 텍스트 및 소셜 네트워크 데이터셋에서의 실용적 효과를 입증하기 위해.

제안 방법

• 통신 비용을 최소화하기 위해 데이터 및 파라미터 배치를 정점 컷 기반 그래프 분할 문제로 수식화하기 위해.
• 순열 함수 성질을 활용하여 근사 보장을 확보하면서도 반복적으로 정점들을 분할에 할당하는 병렬 순열 함수 근사 기법을 사용하기 위해.
• 이중 연결 리스트 데이터 구조를 구현하여 O(k|E|) 시간 복잡도를 달성하기 위해, 여기서 k는 분할 수이고 |E|는 간선 수이다.
• 표본 추출, 지능적인 초기화 및 병렬 처리 기법을 적용하여 분할 품질과 런타임 효율성을 향상시키기 위해.
• 파라미터 서버 프레임워크와 통합하여 ℓ₁-정규화 로지스틱 회귀에 대한 최신 솔버인 DBPG의 가속화를 실현하기 위해.
• 실제 분산 훈련 시스템과 일치하고 동기화 오버헤드를 줄이기 위해 최대 τ지연 일관성 모델을 적용하기 위해.

실험 결과

연구 질문

• RQ1 병렬 순열 함수 근사 알고리즘이 분산 기계 학습을 위한 그래프 분할에서 이론적 보장과 실용적 효율성을 동시에 달성할 수 있는가?
• RQ2 대규모 데이터셋에서 기존 분할 도구인 METIS, PaToH, Zoltan과 비교해 Parsa의 통신 비용과 런타임 성능은 어떠한가?
• RQ3 Parsa가 실세계 응용에서 기계 간 통신을 얼마나 줄이고 분산 훈련을 얼마나 가속화할 수 있는가?
• RQ4 특히 희소한 실세계 그래프에서 기계 수와 데이터 크기가 증가함에 따라 알고리즘의 확장성은 어떠한가?
• RQ5 극도의 병렬 처리와 제한된 초기 정보 조건에서도 Parsa가 높은 분할 품질을 유지할 수 있는가?

주요 결과

• CTRb 데이터셋에서 ℓ₁-정규화 로지스틱 회귀 훈련 시, 기계 간 통신량을 4.23TB에서 0.32TB로 90% 감소시켰다.
• 16台의 기계에서 훈련 시간을 1.43시간에서 0.91시간으로 단축하여 총 1.6배의 속도 향상을 달성했다.
• CTRb 데이터셋(100억 개의 비제로 요소 포함)을 단 4분 만에 분할하여 높은 런타임 효율성을 입증했다.
• 분할 후 로컬(기계 내부) 통신 비율이 6%에서 92%로 상승하여 데이터 국소성 향상이著명했다.
• 텍스트 및 소셜 네트워크 데이터셋에서 METIS, PaToH, Zoltan과 같은 최신 도구들과 비교해 분할 품질과 실행 시간 양면에서 뛰어난 성능을 보였다.
• 4명에서 64명의 워커로 확장되더라도 일관된 초기화 및 희소 꼬리 정점 갈등으로 인해 결과 품질이 오직 5% 감소할 뿐이었으며, 높은 분할 품질 유지가 가능했다.