[논문 리뷰] Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing

Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali|arXiv (Cornell University)|2020. 09. 17.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 Berrut 보간을 활용하여 임의의 함수를 근사화함으로써 다항함수를 초월하는 수치적으로 안정적이고 스트래글러에 강건한 코딩된 계산 프레임워크인 Berrut 근사 코딩 계산(BACC)을 제안한다. BACC는 각 워커에서의 통신 및 계산 부하를 감소시켜 더 빠른 수렴을 이룰 수 있도록 하며, 임의의 수의 서버에서 최대 s명의 스트래글러를 수용할 수 있다.

ABSTRACT

One of the major challenges in using distributed learning to train complicated models with large data sets is to deal with stragglers effect. As a solution, coded computation has been recently proposed to efficiently add redundancy to the computation tasks. In this technique, coding is used across data sets, and computation is done over coded data, such that the results of an arbitrary subset of worker nodes with a certain size are enough to recover the final results. The major challenges with those approaches are (1) they are limited to polynomial function computations, (2) the size of the subset of servers that we need to wait for grows with the multiplication of the size of the data set and the model complexity (the degree of the polynomial), which can be prohibitively large, (3) they are not numerically stable for computation over real numbers. In this paper, we propose Berrut Approximated Coded Computing (BACC), as an alternative approach, which is not limited to polynomial function computation. In addition, the master node can approximately calculate the final results, using the outcomes of any arbitrary subset of available worker nodes. The approximation approach is proven to be numerically stable with low computational complexity. In addition, the accuracy of the approximation is established theoretically and verified by simulation results in different settings such as distributed learning problems. In particular, BACC is used to train a deep neural network on a cluster of servers, which outperforms repetitive computation (repetition coding) in terms of the rate of convergence.

연구 동기 및 목표

• 기존의 코딩된 계산 방법이 다항함수에 국한되어 있고 실수에서 수치적 불안정성을 겪는 한계를 해결한다.
• 임의의 함수와 임의의 수의 서버에서 작동하는 수치적으로 안정적인 일반 목적의 코딩된 계산 프레임워크를 개발한다.
• 데이터 복제와 비교해 워커 노드당 통신 및 계산 오버헤드를 감소시키면서도 스트래글러에 강건한 성능을 유지한다.
• 기존의 라그랑주 코딩 방법이 바르미트 행렬이 악조건이 되어 실패하는 실수 계산 환경(예: 딥러닝)에서의 실용적 구현을 가능하게 한다.
• 스트래글러 조건 하에서 딥 네URAL 네트워크 학습에서 더 빠른 수렴 속도와 정확도를 입증한다.

제안 방법

• BACC는 Berrut 보간—보간 노드에서 유도된 가중치를 사용해 실수에서 수치적으로 안정적인 이원형 유리 보간 방법—을 핵심 근사 기법으로 사용하여 코딩된 데이터에서 기울기를 재구성한다.
• 각 워커 노드는 Berrut 가중치를 사용해 K개의 미니배치의 선형 조합에서 기울기를 계산하며, 이 가중치는 실수에서의 안정성을 보장한다.
• 마스터 노드는 s명의 스트래글러를 제외한 N−s명의 워커로부터 결과를 수신하고, Berrut 보간 행렬의 역행렬을 사용해 전체 기울기를 복원한다.
• 코딩된 레이블은 Berrut 계수를 사용해 원핫 레이블의 정규화된 합으로 형성되며, 이는 근사 기울기를 사용한 다중 레이블 분류를 가능하게 한다.
• 이 방법은 Sigmoid 교차 엔트로피 손실과 코딩된 데이터 상에서의 역전파를 사용하며, 복원은 마스터 노드에서만 수행되어 워커 노드의 계산을 최소화한다.
• Berrut의 유리 보간을 사용해 악조건의 바르미트 시스템을 해결함으로써 다항식 기저 문제를 피하고, 유한한 조건수를 확보한다.

실험 결과

연구 질문

• RQ1 실수에서 수치적 안정성을 유지하면서 다항함수를 초월하는 함수에 대해 작동하는 코딩된 계산 프레임워크를 설계할 수 있는가?
• RQ2 스트래글러 조건 하에서 BACC는 비코딩 및 데이터 복제 방법보다 분산 딥러닝에서 더 빠른 수렴을 달성하는가?
• RQ3 BACC에서 워커당 통신 및 계산 부하는 데이터 복제 및 비코딩 방법과 비교해 어떻게 되는가?
• RQ4 Berrut 보간의 수치적 안정성이 분산 학습에서 기울기 업데이트의 정확도와 수렴에 어떤 영향을 미치는가?
• RQ5 모델 복잡도에 관계없이 고정된 수의 서버(N)에서 임의의 수의 스트래글러(s)를 BACC가 수용할 수 있는가?

주요 결과

• MNIST, Fashion-MNIST, CIFAR-10 데이터셋에서 스트래글러 조건 하에서 BACC는 데이터 복제 및 비코딩 방법보다 목표 테스트 정확도에 더 빠르게 수렴한다.
• N=3, s=1 및 N=5, s=2 조건에서 LeNet 아키텍처에서 BACC는 마스터 노드가 목표 정확도에 도달하는 데 걸리는 월클록 타임에서 데이터 복제 방법을 능가한다. 다만 후자는 약간 더 빠르게 수렴할 수 있다.
• 비코딩 방법은 수렴 속도가 가장 빠르지만, 스트래글러가 존재할 경우 데이터 사용이 불완전해 최종 정확도에 도달하지 못한다.
• BACC는 각 워커가 하나의 코딩된 샘플을 처리하는 데에 그치며, 데이터 복제 방법과 비교해 워커당 통신 및 계산 부하를 감소시킨다.
• 이론적 분석은 Berrut 보간이 바르미트 행렬의 지수적 조건수 증가를 피하고 실수 계산에서 수치적 안정성을 보장함을 확인한다.
• 시뮬레이션 결과는 BACC 근사의 정확성을 검증하며, 복원된 기울기가 진짜 기울기와 매우 유사함을 보여주어 효과적인 모델 업데이트를 가능하게 한다.